[論文レビュー] Deep Neural Networks for Blind Image Quality Assessment: Addressing the Data Challenge

ShahRukh Athar, Zhongling Wang+1 more|arXiv (Cornell University)|Sep 24, 2021

Image and Video Quality Assessment参考文献 120被引用数 7

ひとこと要約

本稿では、3.57K枚のプリースト画像と345万枚の歪曲画像を備えた、これまでで最大のブラインド画像品質評価（BIQA）データベース「Watermark Exploration-II」を紹介する。著者らは、新しい合成ラベリング手法を用いて、EONSSと呼ばれるシンプルなDNNベースのBIQAモデルを訓練した。このモデルは、再訓練なしに9つのベンチマークデータセットにおいて、予測精度と推論速度の両面で最先端の手法を上回っている。

ABSTRACT

The enormous space and diversity of natural images is usually represented by a few small-scale human-rated image quality assessment (IQA) datasets. This casts great challenges to deep neural network (DNN) based blind IQA (BIQA), which requires large-scale training data that is representative of the natural image distribution. It is extremely difficult to create human-rated IQA datasets composed of millions of images due to constraints of subjective testing. While a number of efforts have focused on design innovations to enhance the performance of DNN based BIQA, attempts to address the scarcity of labeled IQA data remain surprisingly missing. To address this data challenge, we construct so far the largest IQA database, namely Waterloo Exploration-II, which contains 3,570 pristine reference and around 3.45 million singly and multiply distorted images. Since subjective testing for such a large dataset is nearly impossible, we develop a novel mechanism that synthetically assigns perceptual quality labels to the distorted images. We construct a DNN-based BIQA model called EONSS, train it on Waterloo Exploration-II, and test it on nine subject-rated IQA datasets, without any retraining or fine-tuning. The results show that with a straightforward DNN architecture, EONSS is able to outperform the very state-of-the-art in BIQA, both in terms of quality prediction performance and execution speed. This study strongly supports the view that the quantity and quality of meaningfully annotated training data, rather than a sophisticated network architecture or training strategy, is the dominating factor that determines the performance of DNN-based BIQA models. (Note: Since this is an ongoing project, the final versions of Waterloo Exploration-II database, quality annotations, and EONSS, will be made publicly available in the future when it culminates.)

研究の動機と目的

• 深層学習ベースのブラインド画像品質評価（BIQA）における深刻なデータ不足問題に対処する。ここでは、大規模で人間による評価済みのデータセットを構築することが現実的でない。
• 従来のBIQAモデルが、訓練および評価に限定的で小規模な被験者評価データセットに依存しているという制限を克服する。
• 大規模なDNNベースのBIQAモデルを実現するためには、モデルアーキテクチャの複雑さよりも、データの量と質がより重要であることを示す。
• 人間の主観的テストを一切行わずに、数百万枚の歪曲画像に対して、知覚的に正確な品質ラベルを生成するスケーラブルなメカニズムを開発する。
• 合成アノテーションを用いた大規模かつ多様なデータセット上でモデルを訓練・評価することで、DNNベースのBIQAの新しいベンチマークを確立する。

提案手法

• 3,570枚のプリースト画像と約345万枚の単一および複数の歪みを加えた画像を含む「Watermark Exploration-II」データベースを構築する。
• 小型の被験者評価済みデータセットで訓練されたDNNベースのモデルを用いて、歪曲画像に知覚的品質スコアを割り当てる、新しい合成アノテーション手法を開発する。
• EONSSモデル—軽量なDNNアーキテクチャ—を、合成品質スコアを用いて、Watermark Exploration-IIデータセット全体に対してエンドツーエンドで訓練する。
• FRファージョン統合とランクアグリゲーション技術を適用し、品質予測モデルのロバスト性と一般化性能を向上させる。
• 微調整や再訓練なしに、9つの独立した被験者評価済みIQAデータセットでEONSSを評価し、ゼロショット一般化性能をテストする。
• データベースのプログレッシブな訓練サブセット（1%、5%、10%、20%）を用いて、訓練データサイズがモデル性能に与える影響を実証的に調査する。

実験結果

リサーチクエスチョン

• RQ1 大規模で合成ラベルが付与された画像品質データセットは、DNNベースのブラインド画像品質評価モデルの性能を顕著に向上させることができるか？
• RQ2 訓練データの量と多様性が、モデルアーキテクチャの複雑さを上回るほど、BIQAモデル性能に与える影響はどの程度大きいのか？
• RQ3 DNNベースのメカニズムによって生成された合成品質ラベルは、人間の主観的評価とどの程度一致するのか？
• RQ4 大規模で多様なデータで訓練されたシンプルなDNNアーキテクチャは、小規模なデータセットで訓練された複雑な最先端BIQAモデルを上回ることができるか？
• RQ5 DNNベースのBIQAモデルでは、どのデータスケールで性能が飽和するのか？

主な発見

• EONSSは、再訓練なしに9つの被験者評価済みIQAデータセットで最先端の性能を達成し、PLCCおよびSRCCの両指標で、すべての先行するBIQAモデルを上回っている。
• Watermark Exploration-IIデータセットの1%から20%にまでデータ量を増やすと、モデル性能が顕著に向上するが、20%を超えると効果の逓減が見られ、中程度のデータスケールで性能の飽和が生じていると示唆される。
• EONSSは、IWSSIMのような優れたフルレファレンスIQA手法ですら、ブラインド評価において上回っている。これは、合成データがFR手法とのギャップを埋める可能性を示している。
• EONSSの成功は、主にWatermark Exploration-IIデータセットの規模と多様性、および高品質な合成アノテーションに起因しており、アーキテクチャの複雑さによるものではない。
• 合成ラベリング手法により生成された品質スコアは、多様な歪みタイプにわたり、人間の評価と強い相関を示しており、知覚的予測性が非常に高いことが実証された。
• 結果から、DNNベースのBIQAにおいて、データ品質と量が主因であり、アーキテクチャのイノベーションは二次的な役割を果たすことが示された。