[논문 리뷰] The Beauty of Capturing Faces: Rating the Quality of Digital Portraits

Мириам Реди, Nikhil Rasiwasia외 2명|arXiv (Cornell University)|2015. 01. 28.

Visual Attention and Saliency Detection참고 문헌 29인용 수 4

한 줄 요약

이 논문은 미용 점수와 주제 인구통계학적 정보가 기재된 10,000점 이상의 디지털 촬영 초상화로 구성된 대규모 데이터셋을 사용하여 초상화 전용 프레임워크를 제안한다. 초상사진 원칙에 기반한 새로운 시각적 특징을 도입하여, 이미지 품질, 조명, 특징점의 선명도, 독창성이 아름다움을 강력하게 예측함을 입증하였으며, 일반적인 미학 분류기보다 정확도가 16% 이상 높다.

ABSTRACT

Digital portrait photographs are everywhere, and while the number of face pictures keeps growing, not much work has been done to on automatic portrait beauty assessment. In this paper, we design a specific framework to automatically evaluate the beauty of digital portraits. To this end, we procure a large dataset of face images annotated not only with aesthetic scores but also with information about the traits of the subject portrayed. We design a set of visual features based on portrait photography literature, and extensively analyze their relation with portrait beauty, exposing interesting findings about what makes a portrait beautiful. We find that the beauty of a portrait is linked to its artistic value, and independent from age, race and gender of the subject. We also show that a classifier trained with our features to separate beautiful portraits from non-beautiful portraits outperforms generic aesthetic classifiers.

연구 동기 및 목표

• 디지털 미디어에서 초상화가 널리 보급됨에도 불구하고, 초상화 평가에 특화된 계산 프레임워크의 부족을 해결하기 위해.
• 연령, 성별, 인종 등의 주제 인구통계학적 정보가 기재된 대규모이고 다양한 디지털 촬영 초상화 데이터셋을 구축하기 위해.
• 사진학 문헌에 기반한 초상화 전용 시각적 특징 세트를 설계하고 검증하기 위해(주로 구성, 조명, 감정, 독창성에 중점).
• 일반적인 미학 분류기보다 뛰어난 성능을 보이는 예측 모델을 개발하여 초상화를 미학적으로 아름답거나 아닐지 분류하기 위해.
• 시각적 및 구성적 요소 중에서 인식된 초상화의 아름다움과 가장 강하게 상관되는 요소를 경험적으로 분석하기 위해.

제안 방법

• 저자들은 AVA 데이터셋에서 10,000점 이상의 초상화를 수집하고 정제하였으며, 얼굴 분석을 통해 미학 점수와 주제 인구통계학적 정보(연령, 성별, 인종)를 주석 처리하였다.
• 초상사진 문헌에 기반하여 이미지 대비, 노출, 얼굴 특징점의 선명도, 조명 패턴, 기억에 남는 정도 등을 포함한 총 12개의 시각적 특징을 설계하였다.
• 통계적 상관관계와 다양한 특징 조합에서의 분류 성능 분석을 통해 특징의 중요도를 분석하였다.
• 표준화된 특징을 사용하여 10겹 교차검증을 수행한 RBF 커널을 가진 서포트 벡터 머신(SVM) 분류기를 훈련하였으며, 정확도와 F1 점수를 통해 성능을 평가하였다.
• 구성, 조명, 감정 등의 다양한 특징 그룹을 조기에 융합하여 분류의 강건성을 향상시켰다.
• 비교 분석을 위해 동일한 훈련 및 테스트 분할을 사용하여 초상화 전용 특징과 일반적인 구성 특징 간의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 어떤 초상사진 원칙에 기반한 시각적 특징이 인식된 초상화의 아름다움과 가장 강하게 상관되는가?
• RQ2 연령, 성별, 인종과 같은 인구통계적 요소가 초상화의 미학적 품질과 어느 정도 상관되는가?
• RQ3 일반적인 이미지 카테고리로 훈련된 일반 목적의 미학 분류기보다 초상화 전용 미학 분류기가 성능 면에서 뛰어나게 되는가?
• RQ4 대비, 노출, 특징점 선명도와 같은 이미지 품질 지표가 초상화의 아름다움 인식에 어떻게 영향을 미치는가?
• RQ5 독창성과 기억에 남는 정도 특징을 통합하면 초상화의 미학 분류 정확도가 향상되는가?

주요 결과

• 초상화의 미학적 품질은 주제의 연령, 성별, 인종과 거의 또는 전혀 관련이 없으며, 이러한 인구통계적 요소는 미학 점수와 거의 상관이 없었다.
• 초상화의 아름다움은 기술적 이미지 품질과 강하게 연관되어 있으며, 얼굴 특징점의 선명도, 적절한 노출, 높은 대비가 높은 미학 점수를 예측하는 데 중요한 요소로 나타났다.
• 조명 패턴, 이미지 균일성, 독창성이 핵심 분류 특징으로 확인되었으며, 특히 독창성이 인식된 아름다움에 크게 기여하였다.
• 제안된 초상화 전용 특징 세트는 대규모 데이터셋에서 64.24% ± 1.76%의 분류 정확도를 달성하였으며, 일반적인 미학 분류기보다 16% 이상 높은 성능을 보였다.
• 특징 선택이 성능 향상에 기여하였으며, 조기 융합을 통해 모든 특징을 통합한 결과가 가장 우수하여 다양한 시각적 신호가 상호 보완적임을 확인하였다.
• 모호한 이미지(δ = 0.5 기준)를 제거하는 것은 정확도 향상에 기여하지 않았으며, 이는 이러한 이미지들이 학습에 도움이 되지 않으며 훈련 시간을 줄이기 위해 제거할 수 있음을 시사한다.