[논문 리뷰] Brain-Inspired Deep Networks for Image Aesthetics Assessment

Wang, Zhangyang, Shiyu Chang외 4명|arXiv (Cornell University)|2016. 01. 16.

Visual Attention and Saliency Detection참고 문헌 33인용 수 46

한 줄 요약

이 논문은 인간의 시각 인지 및 신경미학의 영감을 받아 이미지 미적 평가를 위한 새로운 딥러닝 모델인 뇌기반 딥 네트워크(Brain-Inspired Deep Networks, BDN)를 제안한다. BDN은 병렬 감독 경로를 통해 다양한 이미지 특징을 학습하고, 고수준 융합 네트워크를 통해 총합적인 미적 평가 점수와 그 분포를 예측하며, AVA 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 더 높은 강인성과 일반화 능력을 확보한다.

ABSTRACT

Image aesthetics assessment has been challenging due to its subjective nature. Inspired by the scientific advances in the human visual perception and neuroaesthetics, we design Brain-Inspired Deep Networks (BDN) for this task. BDN first learns attributes through the parallel supervised pathways, on a variety of selected feature dimensions. A high-level synthesis network is trained to associate and transform those attributes into the overall aesthetics rating. We then extend BDN to predicting the distribution of human ratings, since aesthetics ratings are often subjective. Another highlight is our first-of-its-kind study of label-preserving transformations in the context of aesthetics assessment, which leads to an effective data augmentation approach. Experimental results on the AVA dataset show that our biological inspired and task-specific BDN model gains significantly performance improvement, compared to other state-of-the-art models with the same or higher parameter capacity.

연구 동기 및 목표

• 신경미학과 딥러닝의 통찰을 융합하여 이미지의 주관적이고 복잡한 성격을 다루는 것.
• 인간 뇌의 계층적 시각 처리 방식을 모방하는 생물학적으로 타당한 딥러닝 아키텍처를 개발하는 것.
• 수작업 특징과 표준 딥 모델을 초월하여 예측 성능을 향상시키는 것.
• 단순한 점 추정이 아닌 인간 평가자의 분포를 모델링하여 평가자 간 변동성을 포착하는 것.
• 일반화 능력을 향상시키기 위해 레이블 유지 변환 기반의 새로운 데이터 증강 전략을 도입하는 것.

제안 방법

• BDN은 각각 다른 이미지 특징 차원(예: 색채, 질감, 구성 등)에 대해 훈련되는 병렬 감독 경로를 사용하며, 완전 컨볼루션 네트워크를 통해 학습된 특징을 추출한다.
• 각 경로는 특정한 미적 특징에 대해 자체 레이블 감독을 받으며, 인간 시각 시스템의 병렬 처리 방식을 모방한다.
• 고수준 융합 네트워크가 모든 경로에서 학습된 특징을 융합하여 총합적인 미적 평가 점수를 예측한다.
• 모델는 Kullback-Leibler(KL) 발산 기반의 손실 함수를 사용하여 인간 평가자의 전체 점수 분포를 예측하도록 확장된다.
• 훈련 중에 레이블 유지 변환을 적용하여 데이터 증강을 수행함으로써 강인성을 향상시킨다.
• 모델는 이진 평가 예측으로 초기화된 후, KL 발산 최소화를 통해 분포 예측을 위한 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 인간 시각 신경과학에 영감을 받은 딥러닝 모델이 기존 최신 기술 수준의 모델을 초월하여 이미지의 미적 평가에서 뛰어난 성능을 보일 수 있는가?
• RQ2 딥 신경망을 사용하여 인간의 예술적 평가 분포를 효과적으로 모델링하고 예측할 수 있는가?
• RQ3 레이블 유지 데이터 증강 전략이 예술적 평가 예측 작업의 일반화 능력을 향상시킬 수 있는가?
• RQ4 종합적인 학습 대비 병렬적이고 특징별 경로가 성능 향상에 얼마나 기여하는가?
• RQ5 미적 판단의 인지적 및 신경 기제가 더 생물학적으로 타당한 딥러닝 모델 설계에 어떻게 기여하는가?

주요 결과

• 재평가 시 평균 추정치를 기반으로 이진 평가 예측 정확도가 δ = 0일 때 78.08%, δ = 1일 때 77.27%를 기록하여 강인성이 향상됨을 입증한다.
• 평균 KL 발산을 0.1743으로 감소시켜 BDN-KL-D(0.2052) 및 BDN-soft-D(0.2338)를 모두 능가하는 성능을 달성한다.
• AVA 테스트 이미지의 96% 이상에서 BDN의 추정 평균 점수와 진짜 값 간의 차이가 1 이내이다.
• 실패 사례 분석 결과, BDN은 추상적이거나 감정적으로 강한 구성의 개념적으로 창의적인 이미지에서 어려움을 겪는다.
• 모델는 시각적으로 인상적이나 충격적인 이미지와 같이 평가자 간 분산이 큰 이미지를 성공적으로 식별하여 의미 해석의 모호성에 민감함을 보인다.
• AVA 연구에서 도출된 가우시안 사전 확률을 사용함으로써 모델는 기저의 평가 분포를 더 정확히 추정할 수 있는 능력을 향상시킨다.