[論文レビュー] DeepFL-IQA: Weak Supervision for Deep IQA Feature Learning

Hanhe Lin, Vlad Hosu+1 more|arXiv (Cornell University)|Jan 20, 2020

Advanced Image Processing Techniques参考文献 60被引用数 31

ひとこと要約

DeepFL-IQA は、大規模な合成データセット（KADIS-700k）を用いた弱教師付き深層IQA特徴学習を提案し、マルチタスク FR-IQA スコア予測を訓練した後、小規模な主観IQAデータベース上で MLSP ベースの NR-IQA 回帰を行う。

ABSTRACT

Multi-level deep-features have been driving state-of-the-art methods for aesthetics and image quality assessment (IQA). However, most IQA benchmarks are comprised of artificially distorted images, for which features derived from ImageNet under-perform. We propose a new IQA dataset and a weakly supervised feature learning approach to train features more suitable for IQA of artificially distorted images. The dataset, KADIS-700k, is far more extensive than similar works, consisting of 140,000 pristine images, 25 distortions types, totaling 700k distorted versions. Our weakly supervised feature learning is designed as a multi-task learning type training, using eleven existing full-reference IQA metrics as proxies for differential mean opinion scores. We also introduce a benchmark database, KADID-10k, of artificially degraded images, each subjectively annotated by 30 crowd workers. We make use of our derived image feature vectors for (no-reference) image quality assessment by training and testing a shallow regression network on this database and five other benchmark IQA databases. Our method, termed DeepFL-IQA, performs better than other feature-based no-reference IQA methods and also better than all tested full-reference IQA methods on KADID-10k. For the other five benchmark IQA databases, DeepFL-IQA matches the performance of the best existing end-to-end deep learning-based methods on average.

研究の動機と目的

• 140k の pristine 画像と 700k の distorted 画像、および 11 の FR-IQA スコアを代理指標として含む、大規模な合成データセット KADIS-700k を導入する。
• クラウドソースされた MOS/DMOS を用いた 81 の pristine 画像と 10,125 の distorted 画像を含む KADID-10k を作成する。
• マルチタスク学習を活用して FR-IQA スコアを予測する、弱教師付き深層 IQA 特徴学習パイプライン（DeepFL-IQA）を開発する。
• 微調整済み CNN から MLSP 特徴を抽出し、ベンチマークデータベース上で NR-IQA の小規模回帰ネットワークを訓練する。

提案手法

• KADIS-700k 上で InceptionResNetV2 バックボーンを訓練し、マルチタスクヘッドを介して 11 FR-IQA スコアを予測する。
• MTL の間で FR-IQA スコア分布をタスク間で均等化するためにヒストグラム均等化を用いる。
• 微調整済みネットワークから Multi-Level Spatially Pooled (MLSP) 特徴を抽出する。
• MLSP 特徴上に浅い回帰ネットワークを訓練し、IQA データベース上の主観品質スコアへマッピングする。
• ドロップアウトを伴う新しい回帰アーキテクチャを適用し、4 層の FC レイヤー（2,048 → 1,024 → 256 → 1）。
• KADID-10k および 5 つのベンチマークデータベースで既存の FR-IQA および NR-IQA 手法と比較してアプローチを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 FR-IQA の代理指標を用いた弱教師付き学習は、人工的に歪められた画像で NR-IQA の性能を改善できるか。
• RQ2 微調整済み CNN からの MLSP 特徴は、複数のベンチマークデータベースにおいて堅牢な NR-IQA 予測を提供するか。
• RQ3 FR-IQA スコア分布のヒストグラム均等化は、マルチタスク訓練の安定性と性能に有益か。
• RQ4 DeepFL-IQA は最先端の FR-IQA および NR-IQA 手法と KADID-10k および他の IQA データセットでどのように比較されるか。

主な発見

• DeepFL-IQA は KADID-10k で他の特徴ベースのノーリファレンス IQA 手法を上回る。
• 5 つのベンチマーク IQA データベースで、DeepFL-IQA は平均して最良のエンドツーエンドの深層学習ベース手法と同等の性能を示す。
• KADIS-700k データセットは、140k のクリーンな画像と 700k の歪み画像と 11 の FR-IQA スコアを備えたスケーラブルなプラットフォームを提供する。
• MLSP ベースの NR-IQA 回帰は、小さな回帰ネットワークで競争力のある性能を達成する。
• HE 正規化されたマルチタスク FR-IQA 監督を用いると、訓練中の収束とバランスが向上する。