[논문 리뷰] Image Cropping with Composition and Saliency Aware Aesthetic Score Map

Yi Tu, Li Niu외 3명|arXiv (Cornell University)|2019. 11. 24.

Visual Attention and Saliency Detection참고 문헌 31인용 수 5

한 줄 요약

이 논문은 아름다움 평가 점수 지ap을 구성 인식형과 쇼킹 인식형으로 생성하여 미적으로 중요한 영역을 국소화하는 해석 가능한 이미지 자르기 모델인 ASM-Net을 제안한다. 미적 점수를 자르기 내부의 상대적 위치(구성 인식형)와 시각적 쇼킹도(쇼킹 인식형)에 따라 의존적으로 모델링함으로써, 이 방법은 기준 데이터셋에서 최고 성능을 달성하고, 원형 자르기와 같은 임의의 자르기 형태로도 잘 일반화되며, 원형 자르기의 레이블이 없는 경우에도 재학습이 필요 없이 작동한다.

ABSTRACT

Aesthetic image cropping is a practical but challenging task which aims at finding the best crops with the highest aesthetic quality in an image. Recently, many deep learning methods have been proposed to address this problem, but they did not reveal the intrinsic mechanism of aesthetic evaluation. In this paper, we propose an interpretable image cropping model to unveil the mystery. For each image, we use a fully convolutional network to produce an aesthetic score map, which is shared among all candidate crops during crop-level aesthetic evaluation. Then, we require the aesthetic score map to be both composition-aware and saliency-aware. In particular, the same region is assigned with different aesthetic scores based on its relative positions in different crops. Moreover, a visually salient region is supposed to have more sensitive aesthetic scores so that our network can learn to place salient objects at more proper positions. Such an aesthetic score map can be used to localize aesthetically important regions in an image, which sheds light on the composition rules learned by our model. We show the competitive performance of our model in the image cropping task on several benchmark datasets, and also demonstrate its generality in real-world applications.

연구 동기 및 목표

• 미적 평가의 내재적 메커니즘을 드러내는 해석 가능한 이미지 자르기 모델을 개발하기 위해.
• 기존 딥 러닝 방법의 해석 불가능성과 구성 및 쇼킹도 동적 특성을 모델링하지 못하는 한계를 해결하기 위해.
• 구성에 따라 변하는 영역별로 다른 미적 점수를 학습함으로써, 정확한 자르기 수준의 미적 평가를 가능하게 하기 위해.
• 공간적 편향을 피하기 위해, 절대적이지 않은 유연한 감독으로 시각적 쇼킹도를 통합함으로써 일반화를 향상시키기 위해.
• 직사각형 자르기 외에도 원형 자르기와 같은 임의의 형태로의 적용 가능성을 확장하기 위해.

제안 방법

• 모델은 모든 후보 자르기에서 공유되는 미적 점수 지도를 생성하기 위해 완전 컨volution 네트워크를 사용한다.
• 각 자르기의 비중복 파artitions로 나누는 구성 패턴을 도입하여, 영역의 미적 점수가 구성 파artition 인덱스에 의존하도록 한다.
• 구성 인식형 풀링은 각 파artition 내 점수를 집계하여 위치 민감한 평가를 가능하게 하며, 자르기 수준의 미적 점수를 계산한다.
• 쇼킹 인식형 손실을 새롭게 설계하여 쇼킹한 영역의 민감도를 구성 변화에 높여, 쇼킹한 객체의 적절한 배치를 촉진한다.
• 모델은 자르기 간 점수의 평균과 표준편차를 사용하여 열지도를 생성함으로써, 미적 중요 영역을 국소화한다.
• 원형 자르기의 경우, 직사각형 자르기의 내접 원에 구성 인식형 풀링을 적응시켜 재학습 없이도 원형 자르기 평가가 가능하게 한다.

실험 결과

연구 질문

• RQ1 구성과 쇼킹도를 동시에 고려하면서도 해석 가능하고 일반화 가능한 방식으로 미적 평가를 모델링할 수 있는가?
• RQ2 동일한 이미지 영역에 대해 다른 자르기 위치에 따라 다른 미적 점수를 할당하는 점수 지도를 설계할 수 있는가?
• RQ3 쇼킹도를 민감도 제약 조건으로 통합함으로써, 훈련 데이터의 공간적 편향에 대한 모델의 강건성은 어떻게 향상되는가?
• RQ4 단일로 학습된 미적 점수 지도가 직사각형과 원형과 같은 다양한 자르기 형태로 얼마나 잘 일반화되는가?
• RQ5 모델은 학습된 구성 규칙과 쇼킹도 패턴을 반영하여, 미적으로 중요한 영역을 적절히 국소화할 수 있는가?

주요 결과

• 구성과 쇼킹도 의존성을 효과적으로 모델링함으로써, 이 모델은 이미지 자르기 벤치마크에서 최고 성능을 달성한다.
• 쇼킹 인식형 손실(λ = 0.1)을 적용함으로써, 공간적 편향에 대한 과적합이 감소하여, 미적으로 중요한 영역이 이미지 모서리에서 쇼킹한 콘텐츠로 이동한다.
• 원형 자르기의 레이블이 전혀 없는 훈련 데이터로도 고품질의 원형 자르기를 성공적으로 생성하여, 임의의 형태로의 일반화 능력이 뛰어나다는 것을 입증한다.
• 미적 점수 지도에서 유도된 열지도는 모델이 중심 영역과 쇼킹한 영역을 우선시함을 보여주며, 알려진 사진 촬영 구성 원칙과 일치한다.
• 구성 파artition 인덱스의 차이를 활용하여, 유사한 시각적 콘텐츠를 가진 겹치는 자르기들을 순위 매길 때 기존 방법보다 뛰어난 성능을 보인다.
• 구성 인식형 풀링의 사용은 복잡하거나 겹치는 공간 구성을 가진 자르기들에 대해서도 효율적이고 정확한 자르기 수준의 미적 점수 평가를 가능하게 한다.