[論文レビュー] KonIQ-10k: Towards an ecologically valid and large-scale IQA database

Hanhe Lin, Vlad Hosu+1 more|arXiv (Cornell University)|Mar 22, 2018

Image and Video Quality Assessment参考文献 12被引用数 59

ひとこと要約

この論文は KonIQ-10k を提示します、実世界での生態学的妥当性を備えた大規模な IQA データベースで、10,073 枚の画像と 1.2 million crowd-rated quality scores を含み、野外のブラインド画像品質評価を改善することを目的としています。

ABSTRACT

The main challenge in applying state-of-the-art deep learning methods to predict image quality in-the-wild is the relatively small size of existing quality scored datasets. The reason for the lack of larger datasets is the massive resources required in generating diverse and publishable content. We present a new systematic and scalable approach to create large-scale, authentic and diverse image datasets for Image Quality Assessment (IQA). We show how we built an IQA database, KonIQ-10k, consisting of 10,073 images, on which we performed very large scale crowdsourcing experiments in order to obtain reliable quality ratings from 1,467 crowd workers (1.2 million ratings). We argue for its ecological validity by analyzing the diversity of the dataset, by comparing it to state-of-the-art IQA databases, and by checking the reliability of our user studies.

研究の動機と目的

• 実世界のインターネット写真を代表する、規模の大きく本物の IQA データベースを作成する。
• 大規模な画像コレクションからのスケーラブルなサンプリングを通じて、コンテンツと歪みの多様性を確保する。
• クラウドソーシングによって信頼性の高い主観的品質スコアを取得し、専門家の評価との信頼性を検証する。
• 既存の NR-IQA 手法のベンチマークを通じてデータベースの価値を示し、データセットサイズがモデルの性能に与える影響を強調する。

提案手法

• 約4.8Mの YFCC100m エントリから7つの品質指標と1つのコンテンツ指標、さらに機械タグを用いて10,073枚の画像をサンプリングする。
• MILPベースの最適化と指標ごとに200ビンの離散化を用いた、指標間での一様サンプリング。
• 多様性を確保するための4096次元のVGG-16 FC7特徴量を用いた深層特徴ベースのコンテンツサンプリング。
• 1,467名の作業者によるクラウドソーシングで画像あたり120件の評価を取得し、専門家ベースの検証を追加する。
• テスト問題による品質管理、グローバルMOSとの一致のスクリーニング、低品質または重複データの削除。
• KonIQ-10k、LIVE In the Wild、TID2013 におけるノーリファレンス IQA 手法の評価を SROCC と PLCC を用いて行う。

実験結果

リサーチクエスチョン

• RQ1 実世界のコンテンツと歪みを捉える大規模で生態学的に妥当な IQA データベースをどう構築するか？
• RQ2 規模においてコンテンツと歪みの多様性を保証するサンプリング戦略は何か？
• RQ3 Proper にスクリーニングされたクラウドソーシングの MOS は高品質な主観スコアに信頼性があるか？
• RQ4 既存の NR-IQA 手法は、生態学的に妥当で自然画像データセットと人工歪みデータベースで異なる性能を示すか？
• RQ5 データセットのサイズはブラインド IQA モデルの性能にどのように影響するか？

主な発見

Method	KonIQ-10k SROCC	KonIQ-10k PLCC	LIVE In the Wild SROCC	LIVE In the Wild PLCC	TID2013 SROCC	TID2013 PLCC
BIQI	0.545	0.619	0.291	0.388	0.346	0.422
BLIINDS-II	0.575	0.583	0.447	0.483	0.529	0.615
BRISQUE	0.700	0.704	0.597	0.630	0.473	0.537
DIIVINE	0.585	0.622	0.430	0.468	0.513	0.605
SSEQ	0.596	0.615	0.456	0.500	0.510	0.578

• KonIQ-10k には 1,467 名の作業者からの 1.2 百万のクラウド評価を含む 10,073 枚の画像がある。
• Crowd MOS は専門家の評価と一致しており、100点満点スケールでの RMSE は 11.35、専門家と整合するエラー範囲内にある画像の割合は 73%。
• 提案されたサンプリングは、従来データベースより明るさ、色飽和、コントラスト、シャープネス、コンテンツ分布の多様性を高める。
• NR-IQA 手法は KonIQ-10k および LIVE In the Wild での相関が TID2013 より強く、データセットサイズと自然コンテンツが性能に影響を与えていることを示している。
• より大きいトレーニングデータは IQA モデルの性能を向上させ、KonIQ-10k での NR-IQA 予測が改善されている。
• NR-IQA 手法の性能表では、KonIQ-10k がいくつかのベースラインよりも高い SROCC/PLCC を野外データセットで達成している。