[論文レビュー] Full RGB Just Noticeable Difference (JND) Modelling

Jian Jin, Dong Yu+4 more|arXiv (Cornell University)|Mar 1, 2022

Color Science and Applications被引用数 4

ひとこと要約

本稿では、輝度および彩度チャネル、視覚的注意、適応型画像品質評価を統合的に考慮する、フルカラーRGBのわずかに気づくことができる差分（JND）モデリングのための深層学習ベースの生成モデル、RGB-JND-NETを提案する。本モデルは、フルカラー空間における知覚的冗長性を学習することで、最先端の性能を達成し、実験結果では赤および青チャネルにおけるJND耐性が緑よりも高いことが示され、人間の視覚系の感度と整合的である。

ABSTRACT

Just Noticeable Difference (JND) has many applications in multimedia signal processing, especially for visual data processing up to date. It's generally defined as the minimum visual content changes that the human can perspective, which has been studied for decades. However, most of the existing methods only focus on the luminance component of JND modelling and simply regard chrominance components as scaled versions of luminance. In this paper, we propose a JND model to generate the JND by taking the characteristics of full RGB channels into account, termed as the RGB-JND. To this end, an RGB-JND-NET is proposed, where the visual content in full RGB channels is used to extract features for JND generation. To supervise the JND generation, an adaptive image quality assessment combination (AIC) is developed. Besides, the RDB-JND-NET also takes the visual attention into account by automatically mining the underlying relationship between visual attention and the JND, which is further used to constrain the JND spatial distribution. To the best of our knowledge, this is the first work on careful investigation of JND modelling for full-color space. Experimental results demonstrate that the RGB-JND-NET model outperforms the relevant state-of-the-art JND models. Besides, the JND of the red and blue channels are larger than that of the green one according to the experimental results of the proposed model, which demonstrates that more changes can be tolerated in the red and blue channels, in line with the well-known fact that the human visual system is more sensitive to the green channel in comparison with the red and blue ones.

研究の動機と目的

• 既存のJNDモデルが彩度を輝度のスケーリングとみなすという限界を是正するため、本研究ではフルカラー空間におけるJNDモデリングを検討する。
• 3つのRGBチャネル全体にわたり知覚的冗長性を正確にモデリングできる学習ベースの生成ネットワークを開発する。
• 視覚的注意を単なる重み付けではなく、空間的制約として統合することで、JND生成の精度を向上させる。
• 固定されたIQA指標の訓練における限界を克服するため、最適な品質評価指標を動的に選択する適応型IQA組み合わせ（AIC）を導入する。
• 主観的および客観的評価を通じて、モデルの知覚的正確性を検証し、フルRGB空間におけるJND推定の向上を示す。

提案手法

• フルRGB入力を用いてマルチスケール特徴を抽出し、JND予測を実行する深層ニューラルネットワーク、RGB-JND-NETを提案する。
• 複数のIQA指標（例：SSIM、LPIPSなど）から動的に選択する適応型画像品質評価組み合わせ（AIC）を導入し、JND生成の教師信号とすることで、知覚的劣化を回避する。
• 視覚的注意マップを空間的制約として統合し、ネットワークが注意とJND分布の暗黙的な関係を学習することで、空間的精度を向上させる。
• フルRGBチャネルに勾配に基づく大きさ制約を適用し、生成されたJNDが知覚的に検出不能のまま保たれるようにする。
• スキップ接続を備えた自己符号化器型アーキテクチャを採用し、空間的詳細の保持と再構成忠実度の向上を図る。
• 知覚的損失とAICに基づく歪み監視を組み合わせ、エンドツーエンドで訓練することで、視覚的品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 彩度を輝度のスケーリングとみなさずに、フルRGBカラー空間を考慮することで、JNDモデリングはどのように向上するか？
• RQ2 視覚的注意はJNDの空間的分布にどのような影響を及ぼし、JND生成プロセスに効果的に統合できるか？
• RQ3 適応型IQA組み合わせ（AIC）は、固定されたIQA指標を上回る性能を示すのか？
• RQ4 本モデルは、画像コンテンツの種別に応じて、RGBチャネル全体のJND分布において、どのように性能を示すか？
• RQ5 本モデルは、緑よりも赤および青に対して感度が高い人間の視覚系（HVS）の特性をどの程度反映しているか？

主な発見

• 提案されたRGB-JND-NETモデルは、主観的および客観的評価の両方において、既存の最先端JNDモデルを上回る性能を示した。
• モデルは緑チャネルよりも赤および青チャネルでより高いJND値を生成しており、人間の視覚系が緑に対してより感度が高いという事実を裏付けた。
• AIC技術により、訓練中における知覚的に有害な歪みが効果的に同定・抑制され、より高品質なJND出力が得られた。
• 学習された特徴としての視覚的注意の統合により、特に顕著な領域においてJND分布の空間的一致性が向上した。
• モデルは画像コンテンツに応じてJND分布を適応的に調整し、視覚的複雑性の異なる画像で異なるパターンを示した。
• 生成されたJNDにおける支配的な歪みタイプはJPEG/JPEG2000に類似した圧縮であり、モデルが知覚的に妥当な歪みを学習していることを示している。