[論文レビュー] Composition-Aware Image Aesthetics Assessment

Dong Liu, Rohit Puri+2 more|arXiv (Cornell University)|Jul 25, 2019

Visual Attention and Saliency Detection参考文献 43被引用数 4

ひとこと要約

本稿では、局所的画像領域同士の相互依存関係を、領域構成グラフとグラフ畳み込みネットワークを用いてモデル化する、コンpositions-awareな深層学習フレームワークRGNetを提案する。画像を密に空間的領域に分割し、それらの美的保持特徴を符号化し、領域類似度のグラフ上で推論することで、AVAおよびAADBベンチマークで最先端の性能を達成し、従来手法よりも最大6.19%の精度向上を実現した。

ABSTRACT

Automatic image aesthetics assessment is important for a wide variety of applications such as on-line photo suggestion, photo album management and image retrieval. Previous methods have focused on mapping the holistic image content to a high or low aesthetics rating. However, the composition information of an image characterizes the harmony of its visual elements according to the principles of art, and provides richer information for learning aesthetics. In this work, we propose to model the image composition information as the mutual dependency of its local regions, and design a novel architecture to leverage such information to boost the performance of aesthetics assessment. To achieve this, we densely partition an image into local regions and compute aesthetics-preserving features over the regions to characterize the aesthetics properties of image content. With the feature representation of local regions, we build a region composition graph in which each node denotes one region and any two nodes are connected by an edge weighted by the similarity of the region features. We perform reasoning on this graph via graph convolution, in which the activation of each node is determined by its highly correlated neighbors. Our method naturally uncovers the mutual dependency of local regions in the network training procedure, and achieves the state-of-the-art performance on the benchmark visual aesthetics datasets.

研究の動機と目的

• 画像内の視覚的要素同士の相互依存関係を明示的にモデル化することで、画像美的評価を向上させること。
• グローバルな画像特徴に依存するため、構成awareな特徴を符号化できない既存のCNNベースの手法の限界を解消すること。
• 局所的特徴符号化とグラフベースの推論を統合したエンドツーエンドの深層学習アーキテクチャを構築すること。
• 学習可能なグラフ構造を用いた領域間相互依存関係のモデル化が、ベンチマークデータセットにおける性能向上に顕著に寄与することを実証すること。

提案手法

• 細かく空間グリッドを用いて入力画像を局所的領域に分割し、微細な視覚的詳細とマルチスケールの文脈を捉える。
• 各領域からの特徴を抽出するため、美的品質と文脈情報を保持する特徴符号化ネットワークを採用する。
• 各ノードが局所的領域を表し、エッジは領域特徴のコサイン類似度で重み付けされた、領域構成グラフを構築する。
• グラフ畳み込みネットワーク（GCNs）を適用して、グラフ全体にわたる特徴の伝搬と精錬を実現し、長距離的な領域依存関係の推論を可能にする。
• 全アーキテクチャをエンドツーエンドで訓練することで、モデルが生の画像から直接構成awareな表現を学習できるようにする。
• グラフ畳み込み後の特徴を統合して最終的な美的スコアを予測し、追加の後処理を一切行わない。

実験結果

リサーチクエスチョン

• RQ1 グローバル特徴表現を超えて、局所的画像領域間の相互依存関係をモデル化することで、画像美的評価の性能向上が達成可能か？
• RQ2 学習可能な領域構成グラフは、美的評価に関連する長距離的な空間的および視覚的関係をどれほど効果的に捉えられるか？
• RQ3 CNNベースの特徴抽出器にグラフベースの推論を組み込むことで、標準ベンチマーク上での性能向上が明確に得られるか？
• RQ4 学習された領域類似度は、人間の視覚的調和と構成の認識とどの程度一致するか？

主な発見

• AADBテストセットにおいて、RGNetはスピアマンのrho 0.7104を達成し、以前の最先端手法よりも3.22%の精度向上を実現した。
• AVAデータセットでは、MNA-CNN-Sceneベースライン（同様に構成保存を主張）を6.19%上回る分類精度を達成した。
• グラフ畳み込み層からの特徴類似度マップは、はるかに大きく、より一貫性のあるホットスポットを示しており、長距離依存関係の有効なモデル化を示している。
• モデルの性能向上は、相関する領域情報を取り入れることで特徴表現を強化するグラフ畳み込み機構に起因する。
• 可視化により、モデルが意味的および視覚的に一貫性のある領域（例：岩とその周辺の特徴）を高く相関させるように学習していることが確認され、芸術的構成原理と整合的であることが示された。