[논문 리뷰] Automatic Image Cropping for Visual Aesthetic Enhancement Using Deep Neural Networks and Cascaded Regression

Guanjun Guo, Hanzi Wang외 3명|arXiv (Cornell University)|2017. 12. 25.

Visual Attention and Saliency Detection참고 문헌 31인용 수 6

한 줄 요약

이 논문은 시각적 미적 향상을 위해 이미지를 자동으로 자르기 위해 깊이 있는 CNN 특징과 기울기 부스팅된 랜덤-포인트 회귀기들을 활용하는 계단식 자르기 회귀(Cascaded Cropping Regression, CCR) 방법을 제안한다. 두 단계 학습 전략—먼저 대규모 미적 데이터셋에서 CNN을 학습하고, 그 특징에서 자르기 박스를 회귀하는 방식—을 통해 기존 최고 수준의 방법들보다 뛰어난 성능을 달성하며, 실패율은 4.3–6.3%이며, 이미지당 추론 시간은 1.7초이다.

ABSTRACT

Despite recent progress, computational visual aesthetic is still challenging. Image cropping, which refers to the removal of unwanted scene areas, is an important step to improve the aesthetic quality of an image. However, it is challenging to evaluate whether cropping leads to aesthetically pleasing results because the assessment is typically subjective. In this paper, we propose a novel cascaded cropping regression (CCR) method to perform image cropping by learning the knowledge from professional photographers. The proposed CCR method improves the convergence speed of the cascaded method, which directly uses random-ferns regressors. In addition, a two-step learning strategy is proposed and used in the CCR method to address the problem of lacking labelled cropping data. Specifically, a deep convolutional neural network (CNN) classifier is first trained on large-scale visual aesthetic datasets. The deep CNN model is then designed to extract features from several image cropping datasets, upon which the cropping bounding boxes are predicted by the proposed CCR method. Experimental results on public image cropping datasets demonstrate that the proposed method significantly outperforms several state-of-the-art image cropping methods.

연구 동기 및 목표

• 시각적 미적 향상을 위한 자동 이미지 자르기 문제를 다루며, 이는 미적 품질이 주관적이고 정량화하기 어려운 점을 고려한다.
• 자르기 레이블 데이터의 부족을 해결하기 위해 대규모의 약한 레이블이 부여된 미적 데이터셋을 활용해 자르기 회귀 이전에 CNN을 사전 학습한다.
• 기울기 부스팅된 랜덤-포인트를 기본 회귀기로 사용하여 계단식 회귀의 수렴 속도와 정확도를 향상시킨다.
• 먼저 전이 학습된 CNN을 통해 특징을 추출하고, 그 다음 최적의 자르기 영역을 회귀하는 두 단계 학습 파이프라인을 개발한다.
• 제한된 경계 상자 감독 조건에서도 전문 사진작가의 주석과 밀도 높은 일치를 보이는 고품질의 자르기 결과를 달성한다.

제안 방법

• 대규모 미적 데이터셋(AVA)에서 깊이 있는 합성곱 신경망(CNN) 분류기를 학습하여 구분 가능한 이미지 표현을 학습한다.
• 사전 학습된 CNN을 사용해 이미지 자르기에서 특징을 추출하고, 이를 자르기 회귀 작업의 입력으로 사용한다.
• 각 단계에서 약한 랜덤-포인트 회귀기 그룹을 사용하는 계단식 회귀 프레임워크를 구현하며, 기울기 부스팅을 통해 정밀도를 향상시킨다.
• 두 단계 학습 전략을 적용한다: 먼저 이미지 수준의 미적 레이블로 CNN을 사전 학습하고, 이후 전문 사진작가가 제공한 경계 상자 레이블을 사용해 회귀 헤드를 미세 조정한다.
• 학습된 CCR 모델을 적용해 다중 회귀 단계를 거쳐 반복적으로 경계 상자 예측을 정밀하게 개선함으로써 최적의 자르기 영역을 예측한다.
• CNN에서 추출한 고수준 의미 특징을 활용해 자르기 과정을 최적화함으로써 미적 요소가 잘 드러나는 영역의 국소화를 안내한다.

실험 결과

연구 질문

• RQ1 약한 레이블이 부여된 미적 데이터와 제한된 경계 상자 자르기 주석 사이의 격차를 효과적으로 메울 수 있는 두 단계 학습 전략이 가능한가?
• RQ2 기울기 부스팅된 랜덤-포인트를 사용한 계단식 회귀는 일반적인 랜덤-포인트를 사용한 계단식 회귀에 비해 수렴성과 정확도를 얼마나 향상시키는가?
• RQ3 사전 학습된 미적 분류기에서 추출한 CNN 특징이 자동 이미지 자르기 성능을 얼마나 향상시킬 수 있는가?
• RQ4 공개 자르기 데이터셋에서 최고 수준의 방법들과 비교했을 때, 제안된 방법은 IoU 및 BDE 지표에서 어떤 성능을 보이는가?
• RQ5 어떤 종류의 이미지가 제안된 방법에서 가장 도전적으로 작용하며, 어떤 실패 패턴이 나타나는가?

주요 결과

• 제안된 CCR 방법은 세 개의 공개 이미지 자르기 데이터셋에서 기존 최고 수준의 네 가지 방법보다 IoU 및 BDE 지표에서 뚜렷한 성능 향상을 보였다.
• 세 테스트 데이터셋에서 실패율이 뿐만 아니라 4.3–6.3%에 불과하여 전문가 수준의 자르기 영역을 예측하는 데 매우 높은 신뢰성을 보였다.
• 이미지당 평균 추론 시간은 1.7초로, 경쟁 기반의 개선된 변화 기반 방법에서 보고한 11초보다 훨씬 빠르게 성능을 발휘했다.
• 주의 기반 방법은 주목적 개체에 집중하면서 전체적인 미적 구성은 간과하여 가장 열악한 성능을 보였다.
• 미적 기반 방법은 전반적인 구성보다는 국소적으로 고품질 영역을 우선시하여 성능이 열등했으며, CCR 방법은 전문가의 자르기 패턴을 학습함으로써 이에 대비했다.
• 실패 케이스는 주로 객체가 이미지 경계 근처에 있을 경우(부분 자르기 위험) 또는 배경이 균일하고 무구조적인 경우에 주로 발생하여, 가장자리 및 구조 모델링에 대한 한계를 드러냈다.