[論文レビュー] Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation

Qiuping Jiang, Jiawu Xu+4 more|arXiv (Cornell University)|May 12, 2022

Image and Video Quality Assessment被引用数 6

ひとこと要約

本稿では、リチナックス理論にインspiredされた分解を用いて夜間画像を照度層と反射層に分解し、各成分から劣化固有の特徴を符号化し、双線形プーリングにより統合することで、品質予測を向上させる、盲目的な夜間画像品質評価（NTIQE）のための深層学習フレームワークDDB-Netを提案する。この手法は、計算コストが低く、ベンチマークデータセットで最先端の性能を達成し、本物の夜間劣化に優れた一般化性能を示している。

ABSTRACT

Blind image quality assessment (BIQA), which aims to accurately predict the image quality without any pristine reference information, has been extensively concerned in the past decades. Especially, with the help of deep neural networks, great progress has been achieved. However, it remains less investigated on BIQA for night-time images (NTIs) which usually suffers from complicated authentic distortions such as reduced visibility, low contrast, additive noises, and color distortions. These diverse authentic degradations particularly challenges the design of effective deep neural network for blind NTI quality evaluation (NTIQE). In this paper, we propose a novel deep decomposition and bilinear pooling network (DDB-Net) to better address this issue. The DDB-Net contains three modules, i.e., an image decomposition module, a feature encoding module, and a bilinear pooling module. The image decomposition module is inspired by the Retinex theory and involves decoupling the input NTI into an illumination layer component responsible for illumination information and a reflection layer component responsible for content information. Then, the feature encoding module involves learning feature representations of degradations that are rooted in the two decoupled components separately. Finally, by modeling illumination-related and content-related degradations as two-factor variations, the two feature sets are bilinearly pooled together to form a unified representation for quality prediction. The superiority of the proposed DDB-Net has been well validated by extensive experiments on several benchmark datasets. The source code will be made available soon.

研究の動機と目的

• 実際の夜間画像（NTI）に見られる低視認性、ノイズ、色調のずれといった複雑で本物の劣化を伴う現実世界の夜間画像における盲目的画像品質評価（BIQA）の課題に対処すること。
• 合成劣化では良好に機能するが、本物のNTI劣化には失敗する既存のBIQA手法の限界を克服すること。
• NTIにおける照度関連およびコンテンツ関連の劣化を効果的にモデル化できる、エンドツーエンドの深層学習アーキテクチャを設計すること。
• 参照画像なしで効率的かつ正確な品質予測を可能にし、強化アルゴリズムの自動パrameterチューニングなどの応用を支援すること。

提案手法

• DDB-Netフレームワークは、画像分解、特徴符号化、双線形プーリングの3つのモジュールから構成される。
• 画像分解モジュールは、入力NTIを照度層（照明状態）と反射層（コンテンツ詳細）に分離し、リチナックス理論にインspiredしている。
• 特徴符号化モジュールは、分離された照度および反射成分から、別々のストリームネットワークを用いて劣化特徴を学習する。
• 双線形プーリングは、2つの符号化済み特徴集合に適用され、照度とコンテンツの劣化の間の相互作用をモデル化し、品質予測のための統一された表現を形成する。
• ネットワークは、入力NTIから連続的な品質スコアを予測するための回帰損失を用いてエンドツーエンドで訓練される。
• アーキテクチャは効率性を考慮して設計されており、パラメータ数がたった0.38百万で、FLOPsも低いため、高速なインフェレンスが可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのBIQAモデルは、現実世界の夜間画像に見られる複雑で本物の劣化を効果的に処理できるか？
• RQ2 照度とコンテンツの成分を分離することで、品質評価のための劣化特徴の学習が向上するか？
• RQ3 分解された成分からの特徴の双線形プーリングは、標準的な特徴統合よりも優れた品質予測を可能にするか？
• RQ4 ベンチマークデータセットにおいて、提案されたDDB-Netは、既存のBIQAおよびNTIQE手法と比較して、性能と効率の両面で優れているか？

主な発見

• DDB-Netは、盲的な夜間画像品質評価において、NNIDおよびNTIRE2020の両ベンチマークデータセットで最先端の性能を達成した。
• モデルは人間の主観的スコアと強く一貫しており、知覚的に意味のある品質を予測できる能力を裏付けた。
• DDB-Netは、深層学習ベースの手法の中で2番目に高速なインフェレンス速度を達成し、1枚あたり0.0092秒、パラメータ数は0.38百万であった。
• 特に低コントラスト、ノイズ、色のずれの劣化を扱う際、既存の手作業特徴抽出および深層学習ベースのBIQA手法を上回った。
• アブレーションスタディにより、分解と双線形プーリングの組み合わせが、ベースラインモデルよりも顕著に性能向上をもたらすことが確認された。
• このフレームワークは、LIME画像強化アルゴリズムの自動パrameterチューニングに成功し、デフォルト値を上回る優れたパラメータ設定を同定した。