[論文レビュー] Learning to Detect Multiple Photographic Defects

Ning Yu, Xiaohui Shen+3 more|arXiv (Cornell University)|Dec 6, 2016

Visual Attention and Saliency Detection被引用数 3

ひとこと要約

本論文では、自然画像において7つの一般的な写真欠陥（露出不良、ノイズ、ぼやけ、構図の問題など）を同時に検出・重度をランク付けするためのマルチタスク学習フレームワークを、マルチカラムの深層畳み込みニューラルネットワーク（CNN）を用いて提案する。12,853枚の画像からなる大規模な人間によるアノテーション済みデータセットで学習させたモデルは、従来の低レベル統計ベースの手法よりも人間の判断と整合性が高く、平均的な人間ユーザーを上回る欠陥重度予測性能を達成した。

ABSTRACT

In this paper, we introduce the problem of simultaneously detecting multiple photographic defects. We aim at detecting the existence, severity, and potential locations of common photographic defects related to color, noise, blur and composition. The automatic detection of such defects could be used to provide users with suggestions for how to improve photos without the need to laboriously try various correction methods. Defect detection could also help users select photos of higher quality while filtering out those with severe defects in photo curation and summarization. To investigate this problem, we collected a large-scale dataset of user annotations on seven common photographic defects, which allows us to evaluate algorithms by measuring their consistency with human judgments. Our new dataset enables us to formulate the problem as a multi-task learning problem and train a multi-column deep convolutional neural network (CNN) to simultaneously predict the severity of all the defects. Unlike some existing single-defect estimation methods that rely on low-level statistics and may fail in many cases on natural photographs, our model is able to understand image contents and quality at a higher level. As a result, in our experiments, we show that our model has predictions with much higher consistency with human judgments than low-level methods as well as several baseline CNN models. Our model also performs better than an average human from our user study.

研究の動機と目的

• 自然画像における複数の写真欠陥を同時に検出する手法の不足に取り組む。
• 7つの一般的な欠陥の重度スコアが付与された、12,853枚の画像からなる大規模な人間アノテーションデータセットを収集する。
• 複数の欠陥タイプを並列に予測する深層学習モデルを開発し、単一欠陥手法よりも精度を向上させる。
• 欠陥の重度と位置を予測することで、自動写真強化、キュエーリング、品質フィルタリングの応用を可能にする。
• 現実世界の人間の判断に基づいて学習したディープラーニングモデルが、従来の統計的手法およびベースラインCNNを上回ることを示す。

提案手法

• 著者らは、露出不良、ホワイトバランス不良、過剰・不足の彩度、ノイズ、はれ、不要なぼやけ、構図不良の7つの写真欠陥について、人間が重度スコアを付与した12,853枚の自然画像のデータセットを収集した。
• 問題をマルチタスク学習のタスクとして定式化し、グローバルな画像特徴とローカルな画像パッチの両方を処理するマルチカラムCNNを訓練した。
• ネットワークアーキテクチャは、グローバルな画像入力とローカルなパッチ入力を組み合わせることで、高レベルのコンテンツ理解と低レベルの統計的特徴の両方をバランスさせる。
• 各欠陥の連続的な重度スコアを予測するようにモデルを学習させ、人間のアノテーションとの整合性を最適化する損失関数を用いた。
• 局所化のため、アップサンプリングを伴う完全畳み込みネットワーク（FCN）に変換することで、空間的に変化する欠陥ヒートマップを生成した。
• モデルの評価には、人間の判断との整合性を測るケンダールの順位相関係数（ρ）を用い、実データおよび合成データ上でベースライン手法と比較した。

Figure 1: An illustration of detecting multiple photographic defects. For each defect (from left to right: bad exposure , bad white balance , over/under saturation , noise , haze , undesired blur , bad composition ), we report the relative ranking of a severity score in percentage, compared to all t

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションデータで学習したディープラーニングモデルは、低レベル統計ベースの手法よりも、複数の写真欠陥検出において人間の判断とより高い整合性を示すか？
• RQ2 グローバルおよびローカルな画像特徴を併用するマルチカラムCNNは、単一欠陥推定ベースラインを上回る性能を示すか？
• RQ3 提案されたモデルは合成欠陥に一般化可能か？また、実データと合成データの間で性能に差は生じるか？
• RQ4 モデルの性能は、平均的な人間ユーザーの欠陥重度予測性能を上回るか？
• RQ5 モデルは空間的に意識のある欠陥マップを生成でき、欠陥領域を特定できるか？

主な発見

• 提案されたマルチカラムCNNモデルは、全7つの欠陥において平均ケンダールの順位相関（ρ）が0.956に達し、低レベル統計ベースの手法およびベースラインCNNを顕著に上回った。
• 4名の他のアノテーターの基準との順位付けの整合性を測定したところ、モデルは平均的な人間ユーザーを上回る欠陥重度予測性能を示した。
• 合成データでは、5つの欠陥タイプにおいて平均ρが0.9568に達し、グローバルな欠陥に対して強い一般化性能とロバストネスを示した。
• 運動によるぼやけと浅い被写深度の区別が難しいケースにおいても、本モデルは優れた性能を示し、従来手法が失敗した状況でも良好な結果を達成した。
• 完全畳み込みアーキテクチャへの変換により、空間的に変化する欠陥局所化が可能となり、過剰露出の影やぼやけた顔といった、重度の欠陥を示す領域を強調するヒートマップを生成した。
• 12,853枚の人工的にアノテート済みの画像からなるデータセットは、今後の複数欠陥検出および画像品質評価分野の研究を支援するため、公開された。

Figure 3: The histogram of the ground-truth severity scores for the bad exposure defect, shown with a coarse bin size (left) and with a fine bin size (right). Each bin in the left figure corresponds to a peak in the right figure. The hiogram has 11 peaks due to the discrete levels used in user annot