[논문 리뷰] A deep architecture for unified aesthetic prediction

Naila Murray, Albert Gordo|arXiv (Cornell University)|2017. 08. 16.

Visual Attention and Saliency Detection참고 문헌 43인용 수 42

한 줄 요약

이 논문은 전체 미적 점수 분포를 평균 점수나 이진 레이블보다 더 잘 예측하는 통합형 딥 컨volution 신경망인 미적 예측 모델(Aesthetic Prediction Model, APM)을 제안한다. Huber 손실과 이미지의 종횡비가 임의일 경우에도 ImageNet 특징을 적응시키기 위해 교사 네트워크를 활용한 새로운 미세조정 전략을 활용함으로써, APM은 세 가지 과제—분포 예측, 회귀, 분류—에서 최신 기술 수준의 성능을 달성하여, 이전 방법보다 정확도 2.1% 향상과 평균 점수 예측에서 상대적 개선 27%를 기록한다.

ABSTRACT

Image aesthetics has become an important criterion for visual content curation on social media sites and media content repositories. Previous work on aesthetic prediction models in the computer vision community has focused on aesthetic score prediction or binary image labeling. However, raw aesthetic annotations are in the form of score histograms and provide richer and more precise information than binary labels or mean scores. Consequently, in this work we focus on the rarely-studied problem of predicting aesthetic score distributions and propose a novel architecture and training procedure for our model. Our model achieves state-of-the-art results on the standard AVA large-scale benchmark dataset for three tasks: (i) aesthetic quality classification; (ii) aesthetic score regression; and (iii) aesthetic score distribution prediction, all while using one model trained only for the distribution prediction task. We also introduce a method to modify an image such that its predicted aesthetics changes, and use this modification to gain insight into our model.

연구 동기 및 목표

• 기존의 이진 레이블이나 평균 점수에 의존하는 미적 예측 모델의 한계를 해결하여 인간의 애너테이션에서 유용한 분포 정보를 손실하지 않도록 한다.
• 왜곡 없이 고해상도이고 종횡비가 임의인 이미지에서 전체 미적 점수 분포를 예측할 수 있는 딥 러닝 아키텍처를 개발한다.
• 의미적 분류 능력을 유지하면서 지식 정착 기반 방법을 응용한 새로운 미세조정 전략을 통해 사전 훈련된 ImageNet 레이어의 특징 표현 학습을 향상시킨다.
• 기울기 기반의 적대적 편향을 이용한 이미지 수정 기법을 도입하여 모델 결정의 해석 가능성을 제공하고 영향을 미치는 영역을 강조한다.
• 특정 과제에 맞게 조정하지 않고도 단일 모델이 다양한 미적 예측 과제에서 뛰어난 성능을 달성할 수 있음을 입증한다.

제안 방법

• 고해상도이고 종횡비가 임의인 이미지를 처리할 수 있는 CNN 아키텍처를 설계하여 공간적 및 의미적 통합성을 유지한다.
• 사전 훈련된 ImageNet 컨볼루션 레이어를 재학습하는 새로운 미세조정 전략을 적용하여, 다양한 입력 크기에 적응하면서도 의미적 능력을 유지한다. 이는 '교사' 네트워크에서 유도된 소프트 레이블을 사용한다.
• 전체 미적 점수 분포를 회귀하기 위해 Huber 손실을 사용하여 평균 제곱 오차보다 이상치에 더 강인한 성능을 달성한다.
• 예측된 미적 점수 분포를 증가 또는 감소시키기 위해 픽셀 값을 수정하는 기울기 기반의 이미지 수정 기법을 도입하여 주의 영역을 시각화한다.
• 이러한 적대적 예제를 활용해 모델이 판단에 영향을 미치는 영역을 식별하는 히트맵을 생성한다.
• 분류, 회귀, 분포 예측에 대한 표준 평가 지표를 사용하여 AVA 벤치마크에서 모델을 종합적으로 평가한다.

실험 결과

연구 질문

• RQ1 전체 점수 분포에서 학습함으로써 분포 예측, 평균 점수 회귀, 이진 분류와 같은 다수의 미적 예측 과제에서 최신 기술 수준의 성능을 달성할 수 있는 단일 딥 러닝 모델이 가능한가?
• RQ2 의미적 분류 능력을 유지하면서 고해상도이고 종횡비가 임의인 이미지에 대해 사전 훈련된 ImageNet 특징을 효과적으로 적응시킬 수 있는 방법은 무엇인가?
• RQ3 딥 미적 모델이 예측을 내릴 때 주로 주의를 기울이는 시각적 특징은 무엇이며, 이러한 특징들은 적대적 이미지 수정을 통해 어떻게 해석할 수 있는가?
• RQ4 평균 점수나 이진 분류 헤드에 비해 전체 점수 분포를 모델링함으로써 성능 향상이 얼마나 이루어지는가?
• RQ5 극단적인 분포(예: 매우 비대칭적이거나 双모달인 분포)에 대해 모델의 성능는 얼마나 견고한가? 그리고 실패 모드는 무엇인가?

주요 결과

• APM은 AVA 벤치마크에서 세 가지 과제 모두에 대해 최신 기술 수준의 성능을 달성하여, 분포 예측, 평균 점수 회귀, 이진 분류에 대해 새로운 SOTA 성능을 수립했다.
• 기존 방법 대비 분류 정확도를 2.1%p 향상시켜 예측 성능 향상의 명확한 증거를 제시한다.
• 평균 점수 회귀 과제에서 이전 최고 성능 방법 대비 27%의 상대적 개선을 달성하여 분포 인식 훈련의 유용성을 입증한다.
• 모델은 고해상도의 복잡한 점수 분포, 예를 들어 단모달 및 이모달 패턴을 높은 정밀도로 재구성할 수 있었으며, 정성적 비교를 통해 이를 입증했다.
• 적대적 이미지 수정을 통해 모델이 얼굴이나 전경 객체와 같이 눈에 띄고 의미 있는 영역에 주로 주목하고 있음을 확인하여, 저수준 특징을 넘어서 내용과 구성에 주목하고 있음을 시사한다.
• 실패 케이스는 주로 훈련 데이터에 적게 포함된 매우 비대칭적이거나 비정규 분포를 띠는 이미지에서 관찰되며, 이는 데이터 편향이 주요 과제임을 시사한다.