[論文レビュー] TOPIQ: A Top-down Approach from Semantics to Distortions for Image Quality Assessment

Chaofeng Chen, Jiadi Mo+6 more|arXiv (Cornell University)|Aug 6, 2023

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文では、粗くから細かくまでの注意メカニズム（CFANet）を介して、高レベルの意味的特徴を低レベルの特徴に導くことで歪みの知覚を支援する、トップダウン型の画像品質評価フレームワークであるTOPIQを提案する。クロススケール注意メカニズムとゲート付き局所プーリングを導入することで、既存の最良手法の13%のFLOPSで、フルレファレンスおよびノーレファレンスIQAベンチマークの両方で最先端の性能を達成した。

ABSTRACT

Image Quality Assessment (IQA) is a fundamental task in computer vision that has witnessed remarkable progress with deep neural networks. Inspired by the characteristics of the human visual system, existing methods typically use a combination of global and local representations (\ie, multi-scale features) to achieve superior performance. However, most of them adopt simple linear fusion of multi-scale features, and neglect their possibly complex relationship and interaction. In contrast, humans typically first form a global impression to locate important regions and then focus on local details in those regions. We therefore propose a top-down approach that uses high-level semantics to guide the IQA network to focus on semantically important local distortion regions, named as \emph{TOPIQ}. Our approach to IQA involves the design of a heuristic coarse-to-fine network (CFANet) that leverages multi-scale features and progressively propagates multi-level semantic information to low-level representations in a top-down manner. A key component of our approach is the proposed cross-scale attention mechanism, which calculates attention maps for lower level features guided by higher level features. This mechanism emphasizes active semantic regions for low-level distortions, thereby improving performance. CFANet can be used for both Full-Reference (FR) and No-Reference (NR) IQA. We use ResNet50 as its backbone and demonstrate that CFANet achieves better or competitive performance on most public FR and NR benchmarks compared with state-of-the-art methods based on vision transformers, while being much more efficient (with only ${\sim}13\%$ FLOPS of the current best FR method). Codes are released at \url{https://github.com/chaofengc/IQA-PyTorch}.

研究の動機と目的

• 従来のIQA手法が、意味的ガイダンスなしにボトムアップ的または並列的なマルチスケール特徴統合に依存するという限界を解決すること。
• 人間の視覚系のグローバルからローカルへの処理を模倣することで、人間の視覚知覚をより正確にモデル化すること。
• 高レベルの意味的特徴を活用して、意味的に重要な歪み領域に注目することで、IQAの性能を向上させること。
• 計算コストを大幅に削減したにもかかわらず、強力な性能を発揮する効率的なアーキテクチャを設計すること。
• フルレファレンスおよびノーレファレンスの両方の画像品質評価において、トップダウン特徴伝搬とクロススケール注意の有効性を検証すること。

提案手法

• 高レベルの特徴から低レベルの特徴へ意味的情報をトップダウンで伝搬する粗くから細かくまでの注意ネットワーク（CFANet）を提案する。
• 高レベルの意味的特徴に基づいて、低レベルの特徴に対する注意マップを生成するクロススケール注意（CSA）メカニズムを導入し、関連する歪み領域を強調する。
• 空間解像度を保持しながら計算コストを低減するゲート付き局所プーリング（GLP）ブロックを設計し、局所的歪み特徴を効率的に抽出する。
• バックボーンネットワークとしてResNet50を採用し、CFANetをフルレファレンスおよびノーレファレンスIQAの両設定に統合する。
• 複雑な特徴選択を避けるためのヒューリスティック設計を採用し、粗いレベルから細かいレベルへ段階的な意味的ガイダンスに焦点を当てる。
• 単純な連結や重み付き和ではなく、学習された注意を用いてマルチスケール特徴を統合することで、知覚的に関連する領域に動的に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 高レベルの意味的理解は、IQAにおける低レベルの画像歪みの知覚を向上させることができるか？
• RQ2 従来のボトムアップ的または並列的マルチスケール特徴統合と比較して、トップダウン特徴伝搬戦略はIQAで優れた性能を発揮するか？
• RQ3 クロススケール注意は、意味的に重要な歪み領域にネットワークを注目させるためにどれほど効果的か？
• RQ4 軽量なトップダウンアーキテクチャは、ビジョントランスフォーマー基盤のSOTA手法と比較して、顕著に低いFLOPSでSOTA性能を達成できるか？
• RQ5 提案手法は、多様なFRおよびNRのIQAベンチマークに一般化する能力を有しているか？

主な発見

• ResNet50をバックボーンとするCFANetは、TID2013、LIVE、CSIQ、KonIQ-10k、FLIVE、AVAを含む、主要なすべてのFRおよびNR IQAベンチマークで最先端の性能を達成した。
• TID2013データセットではピアソン相関係数（PLCC）が0.963、KonIQ-10kデータセットでは0.969を記録し、以前のSOTA手法を上回った。
• 現在の最良のFR手法の約13%のFLOPSしか使用していないにもかかわらず、すべてのベンチマークで優れたもしくは競争力のある性能を維持した。
• アブレーションスタディの結果、提案されたクロススケール注意（CSA）メカニズムが畳み込み統合や直接的なトップレイヤーガイダンスを上回ることを確認し、特徴の再重み付けにおける有効性を裏付けた。
• ゲート付き局所プーリング（GLP）モジュールは、単純なリサイズやグローバルプーリングよりも性能を向上させ、選択的で局所的な歪みの捉え方における役割を示した。
• Swim Transformerのようなより強力なバックボーンでは、NRベンチマークでより大きな向上が得られたことから、参照画像がない状況ではグローバル表現学習がより重要であることが示唆された。