[論文レビュー] Learning Photography Aesthetics with Deep CNNs

G. Malu, Raju S. Bapi+1 more|arXiv (Cornell University)|Jul 13, 2017

Visual Attention and Saliency Detection参考文献 27被引用数 13

ひとこと要約

本論文では、Aesthetic and Attribute Database (AADB) を用いて、全体的な美的スコアと色調の調和、被写界 depth、鮮やかな色など8つの具体的な美的属性を同時に予測する、マルチタスク深層畳み込みニューラルネットワーク（DCNN）を提案する。モデルは全体的な美的スコアの予測で人間に近い性能を達成し、勾配逆伝播を用いて属性活性マップを生成することで、局所的な属性の関連性を可視化し、モデルの解釈可能性を向上させた。

ABSTRACT

Automatic photo aesthetic assessment is a challenging artificial intelligence task. Existing computational approaches have focused on modeling a single aesthetic score or a class (good or bad), however these do not provide any details on why the photograph is good or bad, or which attributes contribute to the quality of the photograph. To obtain both accuracy and human interpretation of the score, we advocate learning the aesthetic attributes along with the prediction of the overall score. For this purpose, we propose a novel multitask deep convolution neural network, which jointly learns eight aesthetic attributes along with the overall aesthetic score. We report near human performance in the prediction of the overall aesthetic score. To understand the internal representation of these attributes in the learned model, we also develop the visualization technique using back propagation of gradients. These visualizations highlight the important image regions for the corresponding attributes, thus providing insights about model's representation of these attributes. We showcase the diversity and complexity associated with different attributes through a qualitative analysis of the activation maps.

研究の動機と目的

• 単一のスコアや2値分類しか出力しない従来の自動写真美的評価手法に、解釈可能性に欠けるという問題に対処すること。
• 同時に全体的なスコアと複数の詳細な美的属性を学習することで、美的評価を向上させること。
• 画像内の局所的な領域における属性の関連性を可視化することで、モデルの予測に対する人間が理解可能なインサイトを提供すること。
• 深層学習モデルが、複雑で主観的な写真的属性について意味的に関連する表現を学習できるかどうかを評価すること。

提案手法

• 全体的な美的スコアの回帰と8つの事前に定義された美的属性の分類を同時に実行するマルチタスク深層CNNアーキテクチャを設計した。
• 勾配の安定性と特徴表現の向上を図るため、残差ブロック（ResNet風）を採用した。
• 各美的属性に関連する画像領域を強調するため、勾配逆伝播を用いて属性活性マップを生成した。
• 25,000枚の画像について人間がアノテートしたスコアと属性ラベルを提供するAesthetic and Attribute Database (AADB) を用いて、モデルを学習および評価した。
• マルチタスク学習のため、全体的な美的スコア予測と個々の属性分類の両方を同時に最適化する損失関数を統合した。
• 活性マップの可視化により、オブジェクト強調、照明、色調の調和などの属性に対するモデルの解釈を定性的に分析可能となった。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、高い精度で全体的な美的スコアと複数の具体的な美的属性を同時に予測できるか？
• RQ2 学習された美的属性の表現は、人間の認識と意味的理解とどれほど一致するか？
• RQ3 勾配ベースの可視化技術は、各美的属性に関連する意味的で局所的な領域をどれほど効果的に特定できるか？
• RQ4 どの美的属性がモデルによって一貫して学習・解釈されやすく、どの属性が正確にモデル化することが難しいか？
• RQ5 解釈可能性と性能の観点から、本モデルの予測と可視化は、先行する最先端モデルと比較してどのように異なるか？

主な発見

• モデルはAADBデータセット上で、全体的な美的スコアの予測において人間に近い性能を達成し、強い回帰能力を示した。
• 「コンテンツの興味深さ」、「オブジェクト強調」、「浅い被写界 depth」、「鮮やかな色」、「色調の調和」の5つの属性について、予測値と正解値の間に顕著な相関が観察された。
• 属性活性マップは、意味的に関連する画像領域を的確に強調した。例えば、「鮮やかな色」では明るい色の領域に焦点が当たっており、「オブジェクト強調」ではフォーカスされたオブジェクトに注目しているなど、意味的内部表現が明確に示された。
• 「光」と「色調の調和」のような属性については、活性マップに一貫性のないパターンが見られたため、モデルの理解が不完全であるか、視覚的複雑さに敏感である可能性が示唆された。
• 勾配逆伝播による可視化手法は、モデルの注目領域を効果的に明らかにし、各美的属性がどのように評価されているかを解釈可能なインサイトを提供した。
• 「バランスの取れた要素配置」、「光」、「三等分法則」の各属性について、正解との相関が低く、主観的で文脈依存的な属性をモデル化することが困難であることが示された。