[論文レビュー] Image Composition Assessment with Saliency-augmented Multi-pattern Pooling

Bo Zhang, Li Niu+1 more|arXiv (Cornell University)|Apr 7, 2021

Visual Attention and Saliency Detection参考文献 21被引用数 7

ひとこと要約

本稿では、1枚の画像あたり5名のプロフェッショナルレーティングによるスコアを有する、画像コンポジション評価のための最初の専用データセットCADBを紹介するとともに、注目度を補強したマルチパターンプーリング（SAMP）モジュールを備えた新規ネットワークSAMP-Netを提案する。この手法は、パターン固有の特徴集約、コンポジション属性、およびコンテンツバイアスを低減するための重み付きエアス・モーバー距離損失を活用することで、既存のアート評価モデルを上回る性能を発揮する。

ABSTRACT

Image composition assessment is crucial in aesthetic assessment, which aims to assess the overall composition quality of a given image. However, to the best of our knowledge, there is neither dataset nor method specifically proposed for this task. In this paper, we contribute the first composition assessment dataset CADB with composition scores for each image provided by multiple professional raters. Besides, we propose a composition assessment network SAMP-Net with a novel Saliency-Augmented Multi-pattern Pooling (SAMP) module, which analyses visual layout from the perspectives of multiple composition patterns. We also leverage composition-relevant attributes to further boost the performance, and extend Earth Mover's Distance (EMD) loss to weighted EMD loss to eliminate the content bias. The experimental results show that our SAMP-Net can perform more favorably than previous aesthetic assessment approaches.

研究の動機と目的

• 画像コンポジション評価のための専用かつ高品質なデータセットの不足に応えること。
• 全体的な画像コンポジション品質を評価することに特化したディーブラーニングモデルの開発。
• 複数のコンポジションパターン（例：3等分法則、対称性など）を別々の視点としてレイアウト解析に組み込むこと。
• エアス・モーバー距離（EMD）損失を重み付きバージョンに拡張することで、コンポジション評価におけるコンテンツバイアスを低減すること。
• 最終スコアに最も影響を与えるコンポジションパターンを解釈可能に特定するインサイトを提供すること。

提案手法

• 複数の事前に定義されたコンポジションパターン（例：グリッドベース、ラジアル、対称性など）を用いて特徴マップを処理する、新規の注目度を補強したマルチパターンプーリング（SAMP）モジュールを提案。
• 各コンポジションパターンに基づいて特徴マップに空間変換を適用し、視覚的レイアウトおよび要素配置のパターン固有の分析を可能にする。
• 注目度マップを統合して、プーリング中に意味的に関連する領域に注目を向けることで、コンポジション的に重要な要素への注目を強化。
• パターン固有の特徴を学習可能な重みで統合し、各画像に対して最も関連性の高いコンポジションパターンを動的に強調できるようにする。
• 予測スコア分布と複数のレーティング担当者による正解分布をよりよく一致させるために、重み付きエアス・モーバー距離（wEMD）損失を採用。
• コンポジション関連属性（例：3等分法則、対称性など）を補助的監視として統合し、特徴学習の質を向上。

実験結果

リサーチクエスチョン

• RQ1 マルチパターンプーリング機構は、多様なコンポジションルールを効果的にモデル化し、コンポジション評価性能を向上させることができるか？
• RQ2 注目度マップを統合することで、モデルがコンポジション的に関連する画像領域に注目する能力がどのように向上するか？
• RQ3 重み付きEMD損失を用いることで、コンテンツバイアスはどの程度低減され、人間レーティング分布との一致はどの程度向上するか？
• RQ4 モデルが予測するパターン重みは、画像コンポジションの改善に向けた解釈可能なフィードバックを提供できるか？
• RQ5 プロフェッショナルレーティングによるアノテーションが施されたデータセットにおいて、本手法は既存のアート評価モデルと比較して、正確性および一般化性能において優れているか？

主な発見

• SAMP-NetはCADBデータセットにおいて最先端の性能を達成し、特にコンポジションに特化した設計をされたモデルを含む、すべてのベースラインアート評価モデルを上回る。
• SAMPモジュールにより、各画像に対して最も関連性の高いコンポジションパターンを学習・優先できることが、パターン重みの可視化によって裏付けられた。
• 重み付きEMD損失の使用により、人間レーティングのコンSENSUSとスコア分布の一致が顕著に向上し、コンテンツバイアスが低減された。
• モデルの予測スコアは人間レーティングスコアと良好に相関しており、順位付けの一貫性のギャップが依然として存在するため、改善の余地がある。
• 失敗事例は、複雑な背景や曖昧なコンポジションを有する画像で多く発生し、その場合、高品質なコンポジションを低く評価する傾向がある。
• アブレーションスタディにより、各コンポジションパターンが最終スコアに独自に寄与しており、より多くのパターンを追加することで性能が向上することが確認された。