[논문 리뷰] Learning Photography Aesthetics with Deep CNNs

G. Malu, Raju S. Bapi외 1명|arXiv (Cornell University)|2017. 07. 13.

Visual Attention and Saliency Detection참고 문헌 27인용 수 13

한 줄 요약

이 논문은 미적 점수와 색조 조화, 초점 깊이, 생생한 색상 등 8개의 특정한 미적 특성과 같은 Aesthetic and Attribute Database (AADB)를 사용하여 종합적인 미적 점수와 여러 특성을 동시에 예측하는 다중 작업 딥 컨volution 신경망(DCNN)을 제안한다. 이 모델은 종합적인 미적 평가에서 인간에 가까운 성능을 달성하며, 기울기 역전파를 통해 특성 활성화 맵을 생성하여 지역별 특성 관련성을 시각화함으로써 모델의 해석 가능성 향상한다.

ABSTRACT

Automatic photo aesthetic assessment is a challenging artificial intelligence task. Existing computational approaches have focused on modeling a single aesthetic score or a class (good or bad), however these do not provide any details on why the photograph is good or bad, or which attributes contribute to the quality of the photograph. To obtain both accuracy and human interpretation of the score, we advocate learning the aesthetic attributes along with the prediction of the overall score. For this purpose, we propose a novel multitask deep convolution neural network, which jointly learns eight aesthetic attributes along with the overall aesthetic score. We report near human performance in the prediction of the overall aesthetic score. To understand the internal representation of these attributes in the learned model, we also develop the visualization technique using back propagation of gradients. These visualizations highlight the important image regions for the corresponding attributes, thus providing insights about model's representation of these attributes. We showcase the diversity and complexity associated with different attributes through a qualitative analysis of the activation maps.

연구 동기 및 목표

• 기존의 자동 사진 미적 평가 방법이 단일 점수나 이진 분류만 예측하여 해석 가능성에 빈도가 높은 문제를 해결하기 위해.
• 종합적인 점수와 다수의 세부적인 미적 특성을 동시에 학습하여 미적 평가를 향상시키기 위해.
• 이미지 내 특정 영역의 특성 관련성을 국소적으로 시각화하여 모델 예측의 인간이 이해할 수 있는 통찰을 제공하기 위해.
• 딥 러닝 모델이 복잡하고 주관적인 사진적 특성에 대해 의미 있고 의미 있는 의미론적 표현을 학습할 수 있는지 평가하기 위해.

제안 방법

• 종합적인 미적 점수를 회귀하고 8개의 사전 정의된 미적 특성을 분류하는 다중 작업 딥 컨volution 신경망 아키텍처를 설계하였다.
• 안정적인 기울기와 향상된 특징 표현을 가능하게 하기 위해 잔차 블록(ResNet 스타일)을 사용하였다.
• 기울기 역전파를 적용하여 특성 활성화 맵을 생성하여 각 미적 특성과 관련된 이미지 영역을 강조하였다.
• 25,000장의 이미지에 대한 인간 레이블이 부여된 Aesthetic and Attribute Database (AADB)에서 모델을 훈련하고 평가하였다.
• 다중 작업 학습을 위해 손실 함수를 통합하여 종합적인 미적 점수 예측과 개별 특성 분류를 동시에 최적화하였다.
• 활성화 맵의 시각화를 통해 객체 강조, 조명, 색조 조화 등의 특성에 대해 모델이 어떻게 인식하는지 정성적 분석이 가능하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 높은 정확도로 종합적인 미적 점수와 다수의 특정한 미적 특성을 동시에 예측할 수 있는가?
• RQ2 학습된 미적 특성 표현이 인간의 인식과 의미론적 이해와 얼마나 잘 일치하는가?
• RQ3 기울기 기반 시각화 기법이 각 미적 특성과 관련된 의미 있는 국소적 영역을 어느 정도 드러낼 수 있는가?
• RQ4 어느 정도의 미적 특성이 모델에 의해 일관되게 학습되고 해석되는가, 그리고 어떤 특성들이 정확히 모델링하기 어려운가?
• RQ5 기존의 최첨단 모델과 비교해 볼 때, 이 모델의 예측과 시각화는 해석 가능성과 성능 측면에서 어떻게 다를까?

주요 결과

• 모델은 AADB 데이터셋에서 종합적인 미적 점수 예측에서 인간에 가까운 성능을 달성하여 강력한 회귀 능력을 보였다.
• 내용의 흥미로움, 객체 강조, 얕은 초점 깊이, 생생한 색상, 색조 조화 등 다섯 가지 특성에 대해 예측된 점수와 진짜 점수 사이에 유의미한 상관관계가 관찰되었다.
• 특성 활성화 맵은 의미적으로 관련된 이미지 영역을 성공적으로 강조하였다. 예를 들어 생생한 색상의 경우 밝은 색상 영역을, 객체 강조의 경우 전경 객체를 중심으로 강조하였다. 이는 의미 있는 내부 표현을 의미한다.
• 빛과 색조 조화와 같은 특성에 대해서는 활성화 맵이 일관되지 않은 패턴을 보였으며, 이는 모델의 이해가 불완전하거나 시각적 복잡성에 민감할 수 있음을 시사한다.
• 기울기 역전파를 통한 시각화 기법이 효과적으로 모델의 주의를 드러내어 각 미적 특성이 어떻게 평가되는지 이해할 수 있는 해석 가능한 통찰을 제공하였다.
• 균형 잡힌 요소, 빛, 제3의 법칙 등의 특성에 대해 모델의 성능은 진짜 값과의 상관관계가 낮아, 이러한 주관적이고 맥락 의존적인 특성들을 모델링하는 데 어려움이 있음을 나타냈다.