[論文レビュー] Image Cropping with Composition and Saliency Aware Aesthetic Score Map

Yi Tu, Li Niu+3 more|arXiv (Cornell University)|Nov 24, 2019

Visual Attention and Saliency Detection参考文献 31被引用数 5

ひとこと要約

本稿では、構成に配慮したおよび注目度に配慮した美的スコアマップを生成することで、美的に重要な領域を局所化する解釈可能な画像クロッピングモデルASM-Netを提案する。美的スコアをクロップ内の相対的位置（構成に配慮）と視覚的注目度（注目度に配慮）に依存させるようにモデル化することで、ベンチマークデータセットで最先端の性能を達成し、注釈付きの円形クロップを必要とせずに、円形クロッピングを含む任意のクロップ形状へも一般化できる。

ABSTRACT

Aesthetic image cropping is a practical but challenging task which aims at finding the best crops with the highest aesthetic quality in an image. Recently, many deep learning methods have been proposed to address this problem, but they did not reveal the intrinsic mechanism of aesthetic evaluation. In this paper, we propose an interpretable image cropping model to unveil the mystery. For each image, we use a fully convolutional network to produce an aesthetic score map, which is shared among all candidate crops during crop-level aesthetic evaluation. Then, we require the aesthetic score map to be both composition-aware and saliency-aware. In particular, the same region is assigned with different aesthetic scores based on its relative positions in different crops. Moreover, a visually salient region is supposed to have more sensitive aesthetic scores so that our network can learn to place salient objects at more proper positions. Such an aesthetic score map can be used to localize aesthetically important regions in an image, which sheds light on the composition rules learned by our model. We show the competitive performance of our model in the image cropping task on several benchmark datasets, and also demonstrate its generality in real-world applications.

研究の動機と目的

• 美的評価の内在的メカニズムを明らかにする解釈可能な画像クロッピングモデルの開発。
• 従来のディープラーニング手法が解釈不能であり、構成と注目度のダイナミクスを正しくモデル化できないという限界の解消。
• 構成に応じて変化する領域固有の美的スコアを学習することで、クロップ単位の美的評価を正確に実現。
• 空間的バイアスへの過学習を回避するため、柔軟な絶対的でない監視として視覚的注目度を組み込むことで一般化性能の向上。
• 長方形クロップを超えて、円形クロップを含む任意の形状へも適用可能なモデルの拡張。

提案手法

• 全畳み込みネットワークを用いて、すべての候補クロップに共有される美的スコアマップを生成する。
• 各クロップを重複のない領域に分割する構成パターンを導入し、美的スコアを領域の構成パーティションインデックスに依存させる。
• 構成に配慮したプーリングは、各パーティション内のスコアを集約することでクロップ単位の美的スコアを計算し、位置に敏感な評価を可能にする。
• 注目度に配慮した損失関数を新たに設計し、注目領域の構成変化に対する感受性を高め、注目オブジェクトの適切な配置を促進する。
• 美的スコアマップを用いて、複数のクロップにわたるスコアの平均および標準偏差を用いてヒートマップを生成することで、美的に重要な領域を局所化する。
• 円形クロッピングのため、長方形クロップの内接円に構成に配慮したプーリングを適応させ、再訓練なしに円形クロップの評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 構成と注目度の両方を関数としてモデル化することで、解釈可能かつ一般化可能な美的評価を実現する方法は何か？
• RQ2 同じ画像領域が異なるクロップ内での位置に応じて異なる美的スコアを割り当てるスコアマップを設計できるか？
• RQ3 注目度を感受性制約として組み込むことで、トレーニングデータの空間的バイアスに対するモデルのロバストネスはどのように向上するか？
• RQ4 1つの学習済み美的スコアマップが、長方形や円形を含むさまざまなクロップ形状にどの程度一般化できるか？
• RQ5 モデルは、学習済みの構成ルールと注目度パターンを反映した形で、美的に重要な領域を適切に局所化できるか？

主な発見

• 構成と注目度の依存関係を効果的にモデル化することで、画像クロッピングベンチマークで最先端の性能を達成した。
• 注目度に配慮した損失（λ = 0.1）を用いることで、空間的バイアスへの過学習が軽減され、美的に重要な領域が画像の隅から注目度の高いコンテンツへとシフトした。
• 注釈付きの円形トレーニングデータが一切不要な状態で、高品質な円形クロップを効果的に生成でき、任意の形状への強い一般化能力を示した。
• 美的スコアマップから生成されたヒートマップは、モデルが中心部および注目度の高い領域を優先して評価していることを示しており、既知の写真構図原理と整合的である。
• 構成パーティションインデックスの違いを活用することで、視覚的内容が類似した重複するクロップの順序付けにおいて、既存手法を上回った。
• 構成に配慮したプーリングの使用により、複雑または重複する空間的配置を持つクロップに対しても、効率的かつ正確なクロップ単位の美的スコア評価が可能になった。