[논문 리뷰] Predicting Aesthetic Score Distribution through Cumulative Jensen-Shannon Divergence

Xin Jin, Le Wu외 7명|arXiv (Cornell University)|2017. 08. 23.

Visual Attention and Saliency Detection참고 문헌 42인용 수 6

한 줄 요약

이 논문은 인간의 미적 평가 점수(1–10)의 전체 분포를 예측하는 딥러닝 모델인 CJS-CNN을 제안한다. 이 모델은 누적 제논-숄린 분산을 손실 함수로 사용하여 주관적인 이미지 미적 평가를 더 세밀하게 모델링할 수 있도록 한다. 스칼라 또는 이진 표현 방식보다는 분산도를 반영하는 데 유리한 신뢰도 민감 학습 전략을 도입하여 AVA 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Aesthetic quality prediction is a challenging task in the computer vision community because of the complex interplay with semantic contents and photographic technologies. Recent studies on the powerful deep learning based aesthetic quality assessment usually use a binary high-low label or a numerical score to represent the aesthetic quality. However the scalar representation cannot describe well the underlying varieties of the human perception of aesthetics. In this work, we propose to predict the aesthetic score distribution (i.e., a score distribution vector of the ordinal basic human ratings) using Deep Convolutional Neural Network (DCNN). Conventional DCNNs which aim to minimize the difference between the predicted scalar numbers or vectors and the ground truth cannot be directly used for the ordinal basic rating distribution. Thus, a novel CNN based on the Cumulative distribution with Jensen-Shannon divergence (CJS-CNN) is presented to predict the aesthetic score distribution of human ratings, with a new reliability-sensitive learning method based on the kurtosis of the score distribution, which eliminates the requirement of the original full data of human ratings (without normalization). Experimental results on large scale aesthetic dataset demonstrate the effectiveness of our introduced CJS-CNN in this task.

연구 동기 및 목표

• 스칼라 또는 이진 표현 방식의 한계를 해결하기 위해, 인간 평가의 주관성과 변동성을 반영하지 못하는 문제를 해결한다.
• 단일 평균 또는 이진 레이블이 아닌, 인간의 미적 평가 점수(1–10)의 전체 분포를 모델링한다.
• 신뢰도 민감 학습 전략을 도입하여 신뢰도가 낮거나 빈도가 적은 평가 데이터에 대해 강건한 딥러닝 프레임워크를 개발한다.
• 분산도와 같은 통계적 성질을 통합하여 인간 평가의 일치성과 다양성을 반영함으로써 주관적인 이미지 미적 평가를 더 잘 모델링한다.

제안 방법

• CJS-CNN 모델은 깊은 합성곱 신경망을 사용하여 1–10점에 대한 점수 분포(10개 확률의 벡터)를 예측한다.
• 예측된 누적 점수 분포와 진짜 값 간의 차이를 측정하기 위해 누적 제논-숄린 분산(CJS)을 손실 함수로 사용한다.
• 신뢰도 민감 학습 전략을 도입하여, 분포의 첨도(kurtosis)를 바탕으로 한 신뢰도 요소에 따라 손실을 가중한다. 이는 잡음이 많거나 신뢰도가 낮은 샘플을 낮게 평가하도록 한다.
• 신뢰도 요소는 평균화된 점수 히스토그램에서 직접 계산되며, 평가 수와 같은 외부 메타데이터에 의존하지 않는다.
• CJS 손실에 신뢰도 가중치를 적용하여 엔드 투 엔드로 학습함으로써, 불균형하거나 비대칭적인 평가 분포에서도 더 나은 일반화 성능을 달성한다.
• 대규모 AVA 데이터셋에서 성능을 평가하였으며, 분산도 기반의 신뢰도와 평가 수 기반의 대안을 비교하는 분석 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 스칼라 또는 이진 표현 방식보다 인간의 미적 평가 점수 전체 분포를 모델링하는 것이 미적 품질 평가 성능을 향상시키는가?
• RQ2 누적 제논-숄린 분산 손실이 순서형 평가 분포를 모델링하는 데 있어 다른 분산 측정 방식보다 우월한가?
• RQ3 첨도 기반의 신뢰도 민감 학습 전략이 잡음이 많거나 빈도가 적은 평가 데이터에 대해 모델의 강건성을 향상시키는가?
• RQ4 첨도가 평가의 인기나 일치성에 대한 신뢰할 수 있는 대체 지표로 기능할 수 있는가? 즉, 학습 과정에서 원시 평가 수가 필요 없이도 충분한가?

주요 결과

• 제안된 CJS-CNN 모델은 다양한 평가 지표에서 최신 기준 성능을 달성하였으며, 테스트 세트에서 평균 분산이 가장 작았다.
• 첨도 기반의 신뢰도 민감 학습 전략은 일관되게 성능 향상을 이끌었으며, 기본 CJS 모델과 평가 수 기반의 신뢰도 요소보다 뛰어났다.
• 첨도 기반의 신뢰도 요소는 평가 수 기반 요소보다 略적으로 우수했으며, 두 요소를 함께 사용해도 성능 향상이 없었고, 이는 첨도 기반 방법의 효과성과 외부 메타데이터에 대한 독립성을 시사한다.
• 모델의 성능은 첨도가 높거나 정규분포가 아닌 비대칭 분포를 포함한 다양한 평가 분포에서 뛰어나며, CJS는 경험적 순서형 데이터에 특히 적합하다.
• 결과는 스칼라 평균 기반 또는 이진 분류 방식보다 전체 점수 분포를 모델링하는 것이 인간의 미적 인식의 더 세밀한 측면을 반영함을 확인한다.
• 분석 연구 결과, CJS 손실에 첨도 가중치를 적용한 경우 전체 분산이 가장 낮게 나타나, 본 방법의 설계 선택이 타당함을 입증한다.