[論文レビュー] A deep architecture for unified aesthetic prediction

Naila Murray, Albert Gordo|arXiv (Cornell University)|Aug 16, 2017

Visual Attention and Saliency Detection参考文献 43被引用数 42

ひとこと要約

本稿では、平均スコアや二値ラベルではなく、完全な美的スコア分布を予測する統合的深層畳み込みニューラルネットワーク、美的予測モデル（APM）を提案する。Huber損失と、任意のアスペクト比に対応するImageNet特徴を適応させるために教師ネットワークを用いた新規微調整戦略を活用することで、APMは3つのタスク—分布予測、回帰、分類—において最先端の性能を達成し、従来手法よりスコア予測の精度で2.1%、相対的改善率で27%を上回った。

ABSTRACT

Image aesthetics has become an important criterion for visual content curation on social media sites and media content repositories. Previous work on aesthetic prediction models in the computer vision community has focused on aesthetic score prediction or binary image labeling. However, raw aesthetic annotations are in the form of score histograms and provide richer and more precise information than binary labels or mean scores. Consequently, in this work we focus on the rarely-studied problem of predicting aesthetic score distributions and propose a novel architecture and training procedure for our model. Our model achieves state-of-the-art results on the standard AVA large-scale benchmark dataset for three tasks: (i) aesthetic quality classification; (ii) aesthetic score regression; and (iii) aesthetic score distribution prediction, all while using one model trained only for the distribution prediction task. We also introduce a method to modify an image such that its predicted aesthetics changes, and use this modification to gain insight into our model.

研究の動機と目的

• 二値ラベルや平均スコアに依存する従来の美的予測モデルの限界、すなわち人間のアノテーションから得られる貴重な分布情報が失われる点を是正する。
• 歪みのない高解像度で任意のアスペクト比を持つ画像から、完全な美的スコア分布を予測可能な深層学習アーキテクチャの開発。
• 意味的識別性を保持したまま、知識蒸留に類似した手法を用いて事前学習済みImageNet層を微調整することで、特徴表現学習の向上。
• 勾配に基づく敵対的摂動を用いた画像変更技術を導入し、モデルの意思決定に寄与する画像領域を可視化することで解釈可能性を提供。
• タスク固有の適応なしに、1つのモデルが複数の美的予測タスクで優れた性能を達成できることを実証。

提案手法

• 任意のアスペクト比を持つ高解像度画像を処理できるCNNアーキテクチャを設計し、空間的および意味的整合性を保持する。
• 事前学習済みImageNet畳み込み層を、『教師』ネットワークからのソフトラベルを用いて再訓練することで、入力サイズの変動に適応しつつ意味的パワーを維持する、新規の微調整戦略を適用。
• 美的スコアの完全な分布に回帰するためHuber損失を用いてモデルを学習し、平均二乗誤差よりも外れ値に対してよりロバストであることを実現。
• 予測された美的スコア分布を増加または減少させるようにピクセル値を変更する勾配ベースの画像変更手法を導入し、注目領域の可視化を可能にする。
• 得られた敵対的例を用いて、美的判断に最も寄与する画像領域を特定するヒートマップを生成。
• 分類、回帰、分布予測の標準指標を用いて、AVAベンチマーク上でモデルをエンドツーエンドで評価。

実験結果

リサーチクエスチョン

• RQ1 完全なスコア分布から学習することで、1つの深層学習モデルが分布予測、平均スコア回帰、二値分類という複数の美的予測タスクで最先端の性能を達成できるか？
• RQ2 意味的識別性を損なわずに、高解像度で任意のアスペクト比を持つ画像に対して、事前学習済みImageNet特徴を美的予測に効果的に適応できるか？
• RQ3 深層美的モデルが予測を行う際に注目する視覚的特徴は何か？ また、敵対的画像操作を用いることでその特徴を解釈可能にできるか？
• RQ4 平均スコアまたは二値分類ヘッドと比較して、完全なスコア分布をモデル化することで性能がどの程度向上するか？
• RQ5 極端な分布（例：非常に歪んでいる、または二峰性のスコア分布）に対して、モデルの性能はどの程度頑健か？ また、その失敗モードは何か？

主な発見

• APMはAVAベンチマークで最先端の性能を達成し、分布予測、平均スコア回帰、二値分類の3つのタスクすべてで新記録を樹立した。
• 従来手法と比較して分類精度が2.1%絶対的に向上し、予測性能の顕著な向上を示した。
• 平均スコア回帰において、APMは前回最良手法比で27%の相対的改善を達成し、分布に配慮した学習の利点を浮き彫りにした。
• モデルは、単峰性および二峰性のパターンを含む複雑なスコア分布を、高精度に再構築できており、定性的な比較でその有効性が示された。
• 敵対的画像変更により、顔や前面のオブジェクトなど、顕著で意味的意味を持つ領域に注目していることが判明し、モデルが単に低レベル特徴ではなく、コンテンツと構図に注目していることが示された。
• 失敗事例は主に、トレーニングデータにあまり含まれない非常に歪んでいる、またはガウス分布でないスコア分布を示す画像で観察され、データバイアスが主な課題であると示唆された。