[论文解读] A2-RL: Aesthetics Aware Reinforcement Learning for Automatic Image Cropping.

Debang Li, Huikai Wu+2 more|arXiv (Cornell University)|Sep 14, 2017

Visual Attention and Saliency Detection被引用 8

一句话总结

本文提出 A2-RL，一种弱监督强化学习框架，将自动图像裁剪建模为序列决策过程，采用美学感知奖励函数，并结合当前与历史观测的综合状态表示。该方法在显著减少候选窗口数量和降低推理时间的前提下，实现了最先进性能，优于基于滑动窗口的方法。

ABSTRACT

Image cropping aims at improving the aesthetic quality of images by adjusting their composition. Most weakly supervised cropping methods (without bounding box supervision) rely on the sliding window mechanism. The sliding window mechanism requires fixed aspect ratios and limits the cropping region with arbitrary size. Moreover, the sliding window method usually produces tens of thousands of windows on the input image which is very time-consuming. Motivated by these challenges, we firstly formulate the aesthetic image cropping as a sequential decision-making process and propose a weakly supervised Aesthetics Aware Reinforcement Learning (A2-RL) framework to address this problem. Particularly, the proposed method develops an aesthetics aware reward function which especially benefits image cropping. Similar to human's decision making, we use a comprehensive state representation including both the current observation and the historical experience. We train the agent using the actor-critic architecture in an end-to-end manner. The agent is evaluated on several popular unseen cropping datasets. Experiment results show that our method achieves the state-of-the-art performance with much fewer candidate windows and much less time compared with previous weakly supervised methods.

研究动机与目标

• 解决基于滑动窗口的弱监督图像裁剪方法的局限性，这些方法依赖于固定纵横比并生成过多候选窗口。
• 通过将图像裁剪建模为序列决策过程，提升裁剪效率和美学质量。
• 开发一种美学感知奖励函数，引导智能体选择更具视觉吸引力的裁剪区域。
• 通过包含当前观测和历史上下文的联合状态表示，实现端到端的演员-评论家强化学习训练。
• 在保持或提升在未见数据集上性能的同时，降低计算成本和推理时间。

提出的方法

• 将图像裁剪建模为序列决策问题，智能体逐步选择裁剪区域，而非评估所有可能的窗口。
• 引入一种美学感知奖励函数，基于美学评分评估每个裁剪的质量，引导智能体选择更具视觉吸引力的构图。
• 使用综合状态表示，结合当前图像观测与历史决策，以提升策略学习效果。
• 采用端到端训练的演员-评论家深度强化学习架构，以优化裁剪策略。
• 通过依赖图像级别的美学评分作为奖励，实现弱监督（无需边界框标注）。
• 通过学习直接预测最优裁剪区域的策略，避免对所有窗口进行穷举式滑动窗口评估，从而显著减少候选窗口数量。

实验结果

研究问题

• RQ1 图像裁剪能否被有效建模为序列决策过程，从而相比滑动窗口方法显著降低计算开销？
• RQ2 同时结合当前观测与历史决策，如何提升图像裁剪的质量与效率？
• RQ3 在弱监督设置下，美学感知奖励函数在多大程度上提升了裁剪图像的视觉质量？
• RQ4 强化学习智能体能否在候选窗口数量显著减少且推理时间更短的情况下，实现最先进性能？
• RQ5 该方法在无需微调的情况下，对未见数据集的泛化能力如何？

主要发现

• A2-RL 框架在多个未见图像裁剪数据集上实现了最先进性能，且无需边界框标注。
• 与传统滑动窗口方法相比，该方法将候选窗口数量减少了几个数量级。
• 由于采用了高效的序列决策过程，推理时间显著低于以往的弱监督方法。
• 美学感知奖励函数有效引导智能体生成更具视觉吸引力的裁剪结果，这一点通过美学评分得到验证。
• 智能体在未见数据集上的表现泛化良好，表明所学习策略具有鲁棒性和可迁移性。
• 采用演员-评论家架构进行端到端训练，使得在弱监督设置下能够实现稳定且高效的策略学习。