[논문 리뷰] A2-RL: Aesthetics Aware Reinforcement Learning for Automatic Image Cropping.

Debang Li, Huikai Wu외 2명|arXiv (Cornell University)|2017. 09. 14.

Visual Attention and Saliency Detection인용 수 8

한 줄 요약

이 논문은 자동 이미지 크롭을 순차적 결정 문제로 모델링하는 움직임에 민감한 강화학습 프레임워크인 A2-RL을 제안한다. 이는 미적 감각을 반영한 보상 함수와 현재 및 이전 관측치를 통합한 종합적인 상태 표현을 사용한다. 이 방법은 슬라이딩 윈도우 기반 접근 방식에 비해 훨씬 적은 후보 윈도우와 더 짧은 추론 시간으로 최신 기술 성능을 달성한다.

ABSTRACT

Image cropping aims at improving the aesthetic quality of images by adjusting their composition. Most weakly supervised cropping methods (without bounding box supervision) rely on the sliding window mechanism. The sliding window mechanism requires fixed aspect ratios and limits the cropping region with arbitrary size. Moreover, the sliding window method usually produces tens of thousands of windows on the input image which is very time-consuming. Motivated by these challenges, we firstly formulate the aesthetic image cropping as a sequential decision-making process and propose a weakly supervised Aesthetics Aware Reinforcement Learning (A2-RL) framework to address this problem. Particularly, the proposed method develops an aesthetics aware reward function which especially benefits image cropping. Similar to human's decision making, we use a comprehensive state representation including both the current observation and the historical experience. We train the agent using the actor-critic architecture in an end-to-end manner. The agent is evaluated on several popular unseen cropping datasets. Experiment results show that our method achieves the state-of-the-art performance with much fewer candidate windows and much less time compared with previous weakly supervised methods.

연구 동기 및 목표

• 고정된 종횡비에 의존하고 과도한 후보 윈도우를 생성하는 슬라이딩 윈도우 기반의 약한 감독 기반 이미지 크롭 방법의 한계를 해결하기 위해.
• 이미지 크롭을 순차적 결정 문제로 모델링하여 효율성과 미적 품질을 향상시키기 위해.
• 에이전트가 더 시각적으로 매력적인 크롭 영역을 향해 유도할 수 있도록, 미적 감각을 반영한 보상 함수를 개발하기 위해.
• 현재 관측치와 이전의 맥락을 포함한 상태 표현을 사용하여, 액터-크리틱 강화학습을 통해 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 미세조정 없이도 새로운 데이터셋에서 성능을 유지하거나 향상시키면서 계산 비용과 추론 시간을 줄이기 위해.

제안 방법

• 에이전트가 모든 가능한 윈도우를 평가하는 대신 단계적으로 크롭 영역을 선택하는 순차적 결정 문제로 이미지 크롭을 모델링한다.
• 각 크롭의 품질을 미적 점수 기반으로 평가하는, 미적 감각을 반영한 보상 함수를 도입하여 에이전트가 더 매력적인 구성으로 향하도록 유도한다.
• 현재 이미지 관측치와 이전의 결정을 통합한 종합적인 상태 표현을 사용하여 정책 학습을 향상시킨다.
• 엔드 투 엔드로 최적화된 크롭 정책을 얻기 위해 액터-크리틱 딥 강화학습 아키텍처를 사용한다.
• 바운딩 박스 애너테이션 없이도 이미지 수준의 미적 점수를 보상으로 활용하여 약한 감독을 구현한다.
• 모든 윈도우를 평가하는 데서 벗어나, 최적의 크롭을 직접 예측하는 정책을 학습함으로써 후보 윈도우의 수를 줄인다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 방법에 비해 계산 오버헤드를 줄이기 위해 이미지 크롭을 순차적 결정 문제로 효과적으로 모델링할 수 있는가?
• RQ2 현재 관측치와 이전의 결정을 모두 통합함으로써 이미지 크롭의 품질과 효율성이 어떻게 향상되는가?
• RQ3 약한 감독 설정에서, 미적 감각을 반영한 보상 함수가 시각적 품질 향상에 얼마나 기여하는가?
• RQ4 에이전트가 훨씬 적은 후보 윈도우와 더 빠른 추론 시간으로 최신 기술 성능을 달성할 수 있는가?
• RQ5 미세조정 없이도 제안된 방법이 새로운 데이터셋에 어떻게 일반화되는가?

주요 결과

• A2-RL 프레임워크는 바운딩 박스 애너테이션 없이도 여러 개의 새로운 이미지 크롭 데이터셋에서 최신 기술 성능을 달성한다.
• 기존의 슬라이딩 윈도우 접근 방식에 비해 후보 윈도우 수를 수 개의 주기수로 줄였다.
• 효율적인 순차적 결정 문제 접근 덕분에 이전의 약한 감독 기반 방법보다 추론 시간이 크게 단축되었다.
• 미적 감각을 반영한 보상 함수가, 미적 점수 측정 기준으로 시각적으로 더 매력적인 크롭을 생성하도록 에이전트를 효과적으로 유도한다.
• 에이전트의 성능은 새로운 데이터셋에 대해 잘 일반화되어 있어, 학습된 정책의 강건성과 전이 가능성(transferability)을 입증한다.
• 액터-크리틱 아키텍처를 사용한 엔드 투 엔드 훈련은 약한 감독 설정에서 안정적이고 효과적인 정책 학습을 가능하게 한다.