[논문 리뷰] Photo Aesthetics Ranking Network with Attributes and Content Adaptation

Shu Kong, Xiaohui Shen외 3명|arXiv (Cornell University)|2016. 06. 06.

Visual Attention and Saliency Detection참고 문헌 25인용 수 40

한 줄 요약

이 논문은 인간 평가자 판단과의 일관성을 향상시키기 위해 새로운 시아모이드 네트워크와 평가자 인식 샘플링을 사용하여 사진적 특성과 이미지 콘텐츠를 동시에 학습하는 딥 컨volution 신경망을 제안한다. 이 모델은 단순 임계값 처리를 통해 AVA 벤치마크에서 최신 기술 성능을 달성하며, 평균 인간 평가자보다 랭킹 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

Real-world applications could benefit from the ability to automatically generate a fine-grained ranking of photo aesthetics. However, previous methods for image aesthetics analysis have primarily focused on the coarse, binary categorization of images into high- or low-aesthetic categories. In this work, we propose to learn a deep convolutional neural network to rank photo aesthetics in which the relative ranking of photo aesthetics are directly modeled in the loss function. Our model incorporates joint learning of meaningful photographic attributes and image content information which can help regularize the complicated photo aesthetics rating problem. To train and analyze this model, we have assembled a new aesthetics and attributes database (AADB) which contains aesthetic scores and meaningful attributes assigned to each image by multiple human raters. Anonymized rater identities are recorded across images allowing us to exploit intra-rater consistency using a novel sampling strategy when computing the ranking loss of training image pairs. We show the proposed sampling strategy is very effective and robust in face of subjective judgement of image aesthetics by individuals with different aesthetic tastes. Experiments demonstrate that our unified model can generate aesthetic rankings that are more consistent with human ratings. To further validate our model, we show that by simply thresholding the estimated aesthetic scores, we are able to achieve state-or-the-art classification performance on the existing AVA dataset benchmark.

연구 동기 및 목표

• 이진 또는 회귀 기반의 이미지 미학 분류의 한계를 해결하기 위해 이미지의 세분화된 상대적 랭킹을 가능하게 하기 위해.
• 익명화된 평가자 신원을 활용해 개인의 미학적 선호도에 대한 모델의 강건성을 높이기 위해.
• 더 정확하고 일반화 능력이 뛰어난 미학 예측을 위해 사진적 특성과 이미지 콘텐츠를 통합적으로 모델링하는 유일한 딥 러닝 프레임워크를 개발하기 위해.
• 훈련 및 평가를 위해 190명 이상의 인간 애너테이터의 정밀한 미학 점수, 특성 주석, 평가자 신원을 포함한 새로운 데이터셋 AADB를 구축하고 공개하기 위해.
• 모델이 다양한 데이터셋 간에 잘 일반화되며, AVA 벤치마크에서 최신 기술 성능을 달성함을 입증하기 위해.

제안 방법

• 이미지 쌍 간의 상대적 미학 랭킹을 예측하기 위해 시아모이드 네트워크 아키텍처를 사용하며, 쌍별 미학 선호도를 모델링하는 랭킹 손실 함수를 적용한다.
• 공유 및 브랜치 전용 특징을 사용하여 총합 미학 점수와 의미 있는 사진적 특성(예: 구성, 색상, 주제)을 동시에 예측한다.
• 유사한 콘텐츠와 일관된 평가자 선호도를 가진 이미지 쌍을 선택하는 새로운 샘플링 전략을 도입하여 훈련을 정규화하고 일반화 능력을 향상시킨다.
• 익명화된 평가자 신원을 활용해 내부 평가자 일관성을 계산함으로써, 모델이 개인의 미학 판단과 더 잘 일치하도록 향상시킨다.
• 1,000개 이상의 이미지, 1~5점의 미학 점수, 특성 주석, 190명 이상의 인간 애너테이터의 평가자 신원을 포함한 새로운 데이터셋 AADB를 구축한다.
• 콘텐츠 클러스터링을 활용해 쌍 샘플링을 유도하며, 랭킹 손실과 특성 예측 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 사진적 특성과 이미지 콘텐츠를 동시에 학습하여 세분화된 이미지 미학 랭킹 성능을 향상시킬 수 있는가?
• RQ2 익명화된 평가자 신원을 통한 내부 평가자 일관성 통합이 모델 성능 향상과 주관적 미학에 대한 강건성 향상에 기여하는가?
• RQ3 다양한 데이터셋에서 훈련된 통합 모델이 AVA와 같은 기존 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 특히 랭킹 일관성 측면에서 모델의 성능은 개인의 인간 평가자와 비교해 어떻게 되는가?
• RQ5 모델은 미학 분포와 평가자 민족적 배경이 다른 데이터셋 간에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 모델은 AADB 데이터셋에서 스피어만의 순위 상관계수 0.6782를 달성하여 평균 인간 평가자(ρ = 0.6738)를 초월하고 가장 일관성 있는 평가자들과 동등한 성능을 보였다.
• 단순한 예측 점수 임계값 처리를 사용할 때, 모델은 AVA 벤치마크에서 최신 기술 성능을 달성하였으며, 스피어만의 ρ는 0.5154였다.
• 샘플링 전략에서 더 많은 콘텐츠 클러스터를 사용할수록 성능이 향상되었으며, K=10 클러스터에서 최고 성능에 도달하여 콘텐츠 인식 기반의 쌍 선택의 중요성을 입증했다.
• 200장 이상의 이미지를 애너테이션한 평가자들은 평균 일관성(ρ = 0.7112)이 높았으며, 모델은 모든 평가자 평균보다 랭킹 일致성에서 뛰어난 성능을 보였다.
• 다른 데이터셋 간 평가 결과, AADB와 AVA 간 이식 가능성은 제한적이었으며, 성능이 크게 하락했다(예: AADB 모델을 AVA 테스트에 적용했을 때 ρ = 0.1566), 이는 데이터셋 분포와 평가자 미학 취향의 차이를 시사했다.
• 평가자 인식 샘플링을 활용해 개인의 미학 선호도에 대한 강건성을 확보함으로써, 주관적 변동이 있는 인간 평가자 판단에도 불구하고 랭킹 일관성은 크게 향상되었다.