[論文レビュー] Effective Aesthetics Prediction with Multi-level Spatially Pooled Features

Vlad Hosu, Bastian Goldlücke+1 more|arXiv (Cornell University)|Apr 2, 2019

Visual Attention and Saliency Detection参考文献 21被引用数 6

ひとこと要約

本論文は、事前学習済みのInceptionResNet-v2ネットワークから抽出したマルチレベル空間プーリング（MLSP）特徴量を用いた、深層学習フレームワークを提案する。この手法により、画像のリサイズやクロッピングなしでフル解像度の入力を可能とし、効率的な学習が実現される。本手法はAVAデータセットにおいて、0.756のSpearman相関係数（SRCC）を達成し、従来のリサイズまたはクロップに依存する手法を著しく上回る新たなSOTAを達成した。

ABSTRACT

We propose an effective deep learning approach to aesthetics quality assessment that relies on a new type of pre-trained features, and apply it to the AVA data set, the currently largest aesthetics database. While previous approaches miss some of the information in the original images, due to taking small crops, down-scaling or warping the originals during training, we propose the first method that efficiently supports full resolution images as an input, and can be trained on variable input sizes. This allows us to significantly improve upon the state of the art, increasing the Spearman rank-order correlation coefficient (SRCC) of ground-truth mean opinion scores (MOS) from the existing best reported of 0.612 to 0.756. To achieve this performance, we extract multi-level spatially pooled (MLSP) features from all convolutional blocks of a pre-trained InceptionResNet-v2 network, and train a custom shallow Convolutional Neural Network (CNN) architecture on these new features.

研究の動機と目的

• 従来の深層学習手法が画像のリサイズ、クロッピング、または変形処理を伴うことで生じる美的評価の性能低下を是正すること。
• 解像度の制限がないまま、フル解像度のAVAデータセット（最大800×800ピクセル）に対して効果的な学習を可能にすること。
• 事前学習モデルから得られるマルチレベルで空間的にプールされた特徴量を活用することで、相関ベースの指標（例：SRCC）を向上させること。
• 固定サイズの特徴量を用いた段階的学習パイプラインにより、GPUメモリ使用量を削減し、学習を高速化すること。
• 事前学習済み特徴量を、複数のレベルで空間的にプールすることで、エンドツーエンド学習に比べて美的評価において優れた性能を示すことを実証すること。

提案手法

• 高解像度画像に対して、事前学習済みInceptionResNet-v2ネットワークのすべての畳み込みブロックからマルチレベル空間プール（MLSP）特徴量を抽出する。
• これらのコンactな、解像度に依存しない特徴量（例：5×5×16,928）をディスク上に保存し、特徴量抽出と下流の学習を分離する。
• MLSP特徴量上で、浅いカスタム畳み込みニューラルネットワーク（CNN）ヘッドを学習させることで、大バッチ学習が可能になり、収束が早くなる。
• 空間的およびチャネル表現の最適化を図るため、狭い（1×1×b）および広い（5×5×b）MLSP特徴量ヘッドを併用する。
• 特徴量抽出時にデータ拡張を適用することで一般化性能を向上させつつ、元の画像解像度を保持する。
• 特徴量抽出とモデル学習を分離することで、GPUメモリ制限を回避し、高解像度画像に対する効率的かつスケーラブルな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に画像のリサイズやクロッピングを回避することで、美的評価の性能が著しく向上するか？
• RQ2 事前学習ネットワークから得られるマルチレベル空間プール特徴量を用いることで、エンドツーエンド学習に比べて人間の美的評価スコアとの相関が高まるか？
• RQ3 高解像度特徴量を用いた段階的学習パイプラインにより、GPUメモリ使用量と学習時間を削減しながら、性能を維持または向上できるか？
• RQ4 バックボーンアーキテクチャの選択（例：InceptionResNet-v2対Inception-v3）が、美的評価のための抽出された知覚的特徴量の質に与える影響は何か？
• RQ5 技術的画像品質要因（例：シャープネス、ノイズ）が、構図的またはコンテンツベースの要因よりもモデル予測にどれほど支配的か？

主な発見

• 提案手法は、AVAデータセットにおいて、Spearman順位相関係数（SRCC）0.756を達成し、従来のSOTA（0.612）を著しく上回った。
• バイナリ精度（81.7%）はSOTAと同等の高水準を維持しているが、相関指標では顕著に優れている。
• リサイズやクロッピングなしでフル解像度画像を用いた学習は、ぼやけやノイズなどの微細な技術的品質の手がかりを保持できるため、性能が向上したと考えられる。
• InceptionResNet-v2から抽出したMLSP特徴量は、Inception-v3からのものよりも優れた性能を示しており、より深いまたは高度なアーキテクチャが優れた知覚的表現を生成することを示唆している。
• MLSP特徴量を用いた段階的学習により、GPUメモリ使用量が削減され、エンドツーエンドアプローチに比べて20倍～200倍の高速化が達成された。広いMLSP特徴量では、1エポックがわずか10分で完了した。
• 失敗事例から、モデルが技術的品質要因に過剰に依存しており、強いコンテンツを持つが技術的欠陏がある画像では誤差が大きくなることが判明した。これは、測定可能な画像品質に偏ったバイアスが存在することを示している。