[논문 리뷰] Multi-task convolutional neural network for image aesthetic assessment

Derya Soydaner, Johan Wagemans|arXiv (Cornell University)|2023. 05. 16.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 공유 표현을 사용하여 종합적인 이미지 미적 평가 점수와 여러 가지 미적 속성(예: 구성, 깊이, 의미론적 요소)을 동시에 예측하는 다중 작업 컨볼루션 신경망을 제안한다. 이 모델은 AADB 벤치마크에서 인간에 가까운 스피어만 순서상관계수(ρ = 0.707)를 기록하며 상태의 최선(SOTA) 성능을 달성했고, EVA 데이터셋에서는 이전 방법들을 능가하면서도 파rameter 수가 적은 새로운 기준을 설정하였다.

ABSTRACT

As people's aesthetic preferences for images are far from understood, image aesthetic assessment is a challenging artificial intelligence task. The range of factors underlying this task is almost unlimited, but we know that some aesthetic attributes affect those preferences. In this study, we present a multi-task convolutional neural network that takes into account these attributes. The proposed neural network jointly learns the attributes along with the overall aesthetic scores of images. This multi-task learning framework allows for effective generalization through the utilization of shared representations. Our experiments demonstrate that the proposed method outperforms the state-of-the-art approaches in predicting overall aesthetic scores for images in one benchmark of image aesthetics. We achieve near-human performance in terms of overall aesthetic scores when considering the Spearman's rank correlations. Moreover, our model pioneers the application of multi-tasking in another benchmark, serving as a new baseline for future research. Notably, our approach achieves this performance while using fewer parameters compared to existing multi-task neural networks in the literature, and consequently makes our method more efficient in terms of computational complexity.

연구 동기 및 목표

• 종합적인 미적 점수와 핵심 미적 속성을 동시에 학습함으로써 이미지 미적 평가 성능을 향상시키는 딥 러닝 모델을 개발하는 것.
• 공유 표현을 활용한 다중 작업 학습을 통해 주관적이고 다인자적인 미적 선호도 문제를 해결하는 것.
• 두 주요 벤치마크인 AADB와 EVA에서의 성능 및 일반화 능력을 평가하는 것.
• 단일 작업 접근 방식과 비교하여 다중 작업 학습이 성능 및 효율성에 어떻게 기여하는지 보여주는 것.
• 모델 복잡도를 감소시킴과 동시에 종합적인 점수 예측에 있어 새로운 최고 수준의 방법을 확립하는 것.

제안 방법

• 입력 RGB 이미지에서 계층적 특징을 추출하기 위해 공유 컨볼루션 기반 구조를 사용한다.
• 종합적인 미적 점수와 K개의 개별적인 미적 속성 점수를 예측하기 위해 다수의 작업별 전용 헤드를 적용한다.
• 모든 회귀 작업에 대해 평균 제곱오차를 조합한 손실 함수를 사용하여 종합적 점수와 속성 점수를 동시에 최적화한다.
• 모델의 주의 집중 영역과 예측에 영향을 주는 주요 이미지 영역을 파악하기 위해 Grad-CAM을 사용해 특징 맵을 시각화한다.
• 이미지-속성 및 이미지-미적 점수 애너테이션을 포함한 쌍체 데이터를 기반으로 엔드 투 엔드로 아키텍처를 훈련시킨다.
• 일반화 능력을 평가하기 위해 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트하는 교차 데이터셋 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다중 작업 CNN이 종합적인 점수와 속성을 동시에 학습함으로써 이미지 미적 평가 성능을 향상시킬 수 있는가?
• RQ2 단일 작업 학습과 비교했을 때 다중 작업 학습은 예측 정확도와 파rameter 효율성 측면에서 어떻게 다른가?
• RQ3 AADB와 EVA와 같은 다양한 이미지 미적 벤치마크 간에서 모델이 일반화되는가?
• RQ4 예측된 속성 점수는 인간 애너테이션 점수와 순서상관계수 측면에서 어느 정도 일치하는가?
• RQ5 낮은 계산 복잡도를 유지하면서도 모델이 인간에 가까운 성능을 달성할 수 있는가?

주요 결과

• 제안된 다중 작업 CNN은 AADB 테스트 세트에서 스피어만 순서상관계수 ρ = 0.707을 기록하여 새로운 최고 성능을 달성하였다.
• EVA 데이터셋에서의 교차 데이터셋 평가 결과, EVA에서 훈련하고 AADB에서 테스트한 경우 ρ = 0.695를 기록했으며, 반대의 경우(ρ = 0.441)보다 뛰어난 성능을 보였다.
• 구성과 깊이 속성에 대해 가장 높은 상관계수(ρ = 0.97)를 기록하여 EVA 데이터셋에서 인간 애너테이션과 밀도 있게 일치하였다.
• 이전의 다중 작업 접근 방식보다 파rameter 수가 적은 것으로 나타나, 딥 러닝에서 오카머의 면모 원칙을 뒷받침하였다.
• 모델은 두 데이터셋에서 단일 작업 기반 베이스라인보다 일관되게 뛰어난 성능을 보였으며, 공유 표현 학습의 이점을 확인하였다.
• Grad-CAM 시각화 결과, 모델이 종합적인 미적 판단을 내릴 때 의미적으로 관련 있는 영역, 예를 들어 구성과 주제 배치 영역에 주목하고 있음을 확인하였다.