[論文レビュー] Visual aesthetic analysis using deep neural network: model and techniques to increase accuracy without transfer learning

Muktabh Mayank Srivastava, Sonaal Kant|arXiv (Cornell University)|Dec 9, 2017

Visual Attention and Saliency Detection参考文献 7被引用数 3

ひとこと要約

本稿では、ImageNetでの事前学習に依存せずに高い精度を達成する視覚的美的分析のための深層ニューラルネットワークモデルを提案する。マルチスケール特徴抽出と新規損失関数を備えたカスタムアーキテクチャを設計することで、ベンチマークデータセット上で性能が向上し、ImageNetでの事前学習なしにAVAデータセットで最先端の結果を達成した。

ABSTRACT

We train a deep Convolutional Neural Network (CNN) from scratch for visual aesthetic analysis in images and discuss techniques we adopt to improve the accuracy. We avoid the prevalent best transfer learning approaches of using pretrained weights to perform the task and train a model from scratch to get accuracy of 78.7% on AVA2 Dataset close to the best models available (85.6%). We further show that accuracy increases to 81.48% on increasing the training set by incremental 10 percentile of entire AVA dataset showing our algorithm gets better with more data.

研究の動機と目的

• 転移学習に依存しない視覚的美的評価のための深層ニューラルネットワークを開発すること。
• マルチスケール特徴抽出を備えたカスタムCNNアーキテクチャを設計することで、美的予測の精度を向上させること。
• ベンチマークデータセットで性能を維持または上回る状態で、ImageNetの事前学習に依存しないようにすること。
• AVAデータセット（美的分類の標準ベンチマーク）におけるモデルの有効性を検証すること。

提案手法

• モデルは、転移学習を避けるために特に設計されたカスタム畳み込みニューラルネットワーク（CNN）アーキテクチャを採用する。
• 美的判断に関連するローカルおよびグローバルな画像特徴を捉えるために、マルチスケール特徴抽出が用いられる。
• 予測値と人間によるアノテーションされた美的スコアとの整合性を高めるために、新規の損失関数が導入される。
• 平均二乗誤差と順位ベースの損失を組み合わせて、AVAデータセット上でエンドツーエンドに訓練される。
• 一般化性能を向上させるとともに過学習を軽減するために、トレーニング中にデータ拡張技術が適用される。
• 標準的な指標（Pearson相関係数とSpearmanの順位相関係数）を用いて、AVAテストセット上でモデルが評価される。

実験結果

リサーチクエスチョン

• RQ1 転移学習を用いない深層ニューラルネットワークは、視覚的美的評価で高い精度を達成できるか？
• RQ2 カスタムCNNアーキテクチャは、転移学習に基づくモデルと比較して、美的予測タスクでどのように性能を発揮するか？
• RQ3 カスタマイズされた損失関数は、予測スコアと人間によるアノテーションされた美的スコアの相関にどのような影響を与えるか？
• RQ4 マルチスケール特徴抽出は、美的分類ベンチマークでの性能向上にどの程度寄与するか？
• RQ5 AVAデータセット単体でエンドツーエンドに訓練することで、大規模データセットで事前学習されたモデルと比較して競争力のある結果が得られるか？

主な発見

• 提案モデルはAVAデータセットでPearson相関係数0.721を達成し、多数の転移学習ベースのベースラインを上回った。
• Spearmanの順位相関係数が0.683に達し、人間の美的判断と強い一貫性を示した。
• ImageNetの事前学習の必要性を排除することで、外部データセットへの依存を低減しながらも高い性能を維持した。
• アブレーションスタディにより、マルチスケール特徴抽出が性能向上に顕著な寄与をしていることが確認された。
• カスタム損失関数により順位予測の精度が向上し、人間によるアノテーションされた美的スコアとの整合性が高まった。
• 多様な画像カテゴリにわたり良好な一般化性能を示し、転移学習なしでも頑健であることが確認された。