[論文レビュー] A2-RL: Aesthetics Aware Reinforcement Learning for Automatic Image Cropping.

Debang Li, Huikai Wu+2 more|arXiv (Cornell University)|Sep 14, 2017

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本稿では、美的感受性を考慮した報酬関数と、現在の観測値と履歴観測値を組み合わせた包括的な状態表現を用いて、自動画像クロッピングを段階的決定プロセスとして定式化する弱教師付き強化学習フレームワークA2-RLを提案する。本手法は、スライディングウィンドウベースの手法と比較して、はるかに少ない候補ウィンドウ数と短い推論時間を実現しながら、最先端の性能を達成する。

ABSTRACT

Image cropping aims at improving the aesthetic quality of images by adjusting their composition. Most weakly supervised cropping methods (without bounding box supervision) rely on the sliding window mechanism. The sliding window mechanism requires fixed aspect ratios and limits the cropping region with arbitrary size. Moreover, the sliding window method usually produces tens of thousands of windows on the input image which is very time-consuming. Motivated by these challenges, we firstly formulate the aesthetic image cropping as a sequential decision-making process and propose a weakly supervised Aesthetics Aware Reinforcement Learning (A2-RL) framework to address this problem. Particularly, the proposed method develops an aesthetics aware reward function which especially benefits image cropping. Similar to human's decision making, we use a comprehensive state representation including both the current observation and the historical experience. We train the agent using the actor-critic architecture in an end-to-end manner. The agent is evaluated on several popular unseen cropping datasets. Experiment results show that our method achieves the state-of-the-art performance with much fewer candidate windows and much less time compared with previous weakly supervised methods.

研究の動機と目的

• 固定されたアスペクト比に依存し、過剰な候補ウィンドウを生成するスライディングウィンドウベースの弱教師付き画像クロッピング手法の限界を解消すること。
• 画像クロッピングを段階的決定プロセスとしてモデル化することで、クロッピングの効率と美的品質を向上させること。
• エージェントがより視覚的に魅力的なクロップ領域へと導かれるように、美的感受性を考慮した報酬関数を開発すること。
• 現在の観測値と歴史的文脈を含む状態表現を用いて、エージェント・クリティック強化学習によるエンドツーエンド学習を可能にすること。
• 計算コストと推論時間を削減しながら、未学習データセットにおいても性能を維持または向上させること。

提案手法

• エージェントがすべての可能なウィンドウを評価するのではなく、段階的にクロップ領域を選択する、段階的決定問題としての画像クロッピングの定式化。
• 各クロップの品質を美的スコアに基づいて評価する美的感受性を考慮した報酬関数の導入により、エージェントがより視覚的に魅力的な構図へと導かれるようにする。
• 現在の画像観測値と歴史的決定を組み合わせた包括的な状態表現を用いて、方策学習の性能を向上させる。
• エンドツーエンドで最適化可能な、エージェント・クリティック深層強化学習アーキテクチャの採用。
• ボックスアノテーションを一切必要とせず、画像レベルの美的スコアを報酬として弱教師付き学習を実現。
• 全スライディングウィンドウ評価を避けるために、最適なクロップを直接予測する方策を学習することで、候補ウィンドウ数を削減。

実験結果

リサーチクエスチョン

• RQ1 スライディングウィンドウ手法と比較して、計算オーバーヘッドを低減できる段階的決定プロセスとしての画像クロッピングは、効果的にモデル化可能か？
• RQ2 現在の観測値と歴史的決定の両方を組み込むことで、画像クロッピングの品質と効率はどのように向上するか？
• RQ3 弱教師付き設定において、美的感受性を考慮した報酬関数は、クロップ画像の視覚的品質をどの程度向上させるか？
• RQ4 強化学習エージェントは、はるかに少ない候補ウィンドウ数と高速な推論時間で最先端の性能を達成可能か？
• RQ5 本手法は、ファインチューニングなしで未学習データセットへどのように一般化するか？

主な発見

• A2-RLフレームワークは、ボックスアノテーションを一切必要とせず、複数の未学習画像クロッピングデータセットで最先端の性能を達成する。
• 従来のスライディングウィンドウ手法と比較して、候補ウィンドウ数を数個のオーダーも削減する。
• 効率的な段階的決定プロセスのおかげで、推論時間は従来の弱教師付き手法よりも顕著に短い。
• 美的感受性を考慮した報酬関数は、美的スコアによる測定で、エージェントがより視覚的に魅力的なクロップを生成するのを効果的に導く。
• エージェントの性能は未学習データセットに対しても良好に一般化され、学習済み方策の頑健性と転移性を示している。
• エージェント・クリティックアーキテクチャによるエンドツーエンド学習により、弱教師付き設定でも安定的かつ効果的な方策学習が可能になった。