[論文レビュー] NTIRE 2022 Challenge on Perceptual Image Quality Assessment

Jinjin Gu, Haoming Cai+3 more|arXiv (Cornell University)|Jun 23, 2022

Image and Video Quality Assessment被引用数 4

ひとこと要約

本論文は、GANベースの歪みおよび知覚指向の歪みを対象とした、知覚的画像品質評価（IQA）に関するNTIRE 2022チャレンジを提示する。PILPALデータセットを用いた新規ベンチマークを導入し、フルレファレンスおよびノーレファレンスIQA手法の評価を実施した。優勝モデルは、洗練されたアーキテクチャと損失関数を用いて、多様な歪みタイプにおいて人間の判断と優れた相関を示す、最先端の性能を達成した。

ABSTRACT

This paper reports on the NTIRE 2022 challenge on perceptual image quality assessment (IQA), held in conjunction with the New Trends in Image Restoration and Enhancement workshop (NTIRE) workshop at CVPR 2022. This challenge is held to address the emerging challenge of IQA by perceptual image processing algorithms. The output images of these algorithms have completely different characteristics from traditional distortions and are included in the PIPAL dataset used in this challenge. This challenge is divided into two tracks, a full-reference IQA track similar to the previous NTIRE IQA challenge and a new track that focuses on the no-reference IQA methods. The challenge has 192 and 179 registered participants for two tracks. In the final testing stage, 7 and 8 participating teams submitted their models and fact sheets. Almost all of them have achieved better results than existing IQA methods, and the winning method can demonstrate state-of-the-art performance.

研究の動機と目的

• GANベースおよび知覚指向のアルゴリズムを用いる現代の画像処理パイプラインにおける、知覚的画像品質評価の課題の増大に対処する。
• 高度な画像修復アルゴリズムから生じる実世界の歪みを含む大規模かつ多様なデータセットを用いて、既存および新規のIQA手法をベンチマーク化する。
• 複雑で伝統的でない歪みに対して、盲目的な品質評価の分野におけるイノベーションを促進するため、専用のトラックを導入することでノーレファレンスIQAを前進させる。
• 人間の知覚メトリクスと比較して新しいIQAモデルを検証できる標準化された評価プラットフォームを提供する。
• 構造的なチャレンジフレームワークを通じたコミュニティ主導の競争と協力を促進し、知覚的画像品質評価分野の進展を推進する。

提案手法

• IQAモデルの学習および評価に、250枚のレファレンス画像、29,000枚の歪み画像、188万件のヒューマンジャッジメントを含むPIPALデータセットを活用した。
• 2つの異なるトラックを設計した：フルレファレンスIQA（歪み画像とレファレンスを比較）とノーレファレンスIQA（レファレンスなしで歪み画像を評価）。
• 自己注意機構を用いて特徴表現を強化するTransformer、CNN、ハイブリッドネットワークなどの深層学習アーキテクチャを用いて、知覚的品質をモデル化した。
• 人間の判断とモデル予測を一致させるために、ピアソン相関損失、PLCC損失、トライオレットランク損失を含むマルチ損失訓練戦略を適用した。
• ベース学習率0.0001、50エポックにわたるコサインスケジュール、バッチサイズ10を用いたAdamW最適化手法を採用した。
• 汎化性能と多様な歪みタイプに対するロバストネスを向上させるために、アンサンブル手法とデータオーグメンテーション技術を組み込んだ。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのIQAモデルは、現代的なGANベースの歪みが存在する状況でも、人間の画像品質判断を効果的に予測できるか？
• RQ2 従来のフルレファレンス手法と比較して、ノーレファレンスIQAモデルは知覚的歪みに対してどのように性能を発揮するか？
• RQ3 複雑で現実世界の歪みを伴う状況において、人間の主観的判断と最も高い相関を示すアーキテクチャおよび損失関数の設計は何か？
• RQ4 アンサンブル手法とマルチ損失訓練は、未観測の歪みタイプに対してIQAモデルの汎化性能と性能をどの程度向上させるか？
• RQ5 提案されたチャレンジフレームワークは、今後の知覚的IQA手法の開発における信頼できるベンチマークとして機能できるか？

主な発見

• 優勝フルレファレンス手法（THU1919Group）は、PIPAL-NTIRE22-Testスコア1.6511、SROCC 0.8227、PLCC 0.8284を達成し、ベースライン手法を顕著に上回った。
• トップノーレファレンス手法（THU_IIGROUP）は、スコア1.4436、SROCC 0.7040、PLCC 0.7396を達成し、レファレンス画像なしでも強力な性能を示した。
• 上位のモデルは、両トラックにおいて、NTIRE-21優勝のIQT、LPIPS、DISTS、SSIM、PSNRといった既存のベースラインをすべて上回った。
• 自己注意機構とマルチ損失訓練の活用により、特に微細な知覚的差を捉える能力が著しく向上し、人間の判断との相関が向上した。
• フルレファレンストラックには192名、ノーレファレンストラックには179名の参加登録者があり、最終モデルを提出したチームはそれぞれ7チームと8チームであった。
• 結果から、洗練された損失設計を伴う現代的な深層学習アーキテクチャが、特に新規の歪みタイプにおいて、最先端の性能を達成できることを確認した。