[논문 리뷰] Personalized Image Aesthetics Assessment with Rich Attributes

Yuzhe Yang, Liwu Xu외 5명|arXiv (Cornell University)|2022. 03. 31.

Olfactory and Sensory Function Studies인용 수 4

한 줄 요약

이 논문은 31,220장의 이미지와 438명의 피실험자로부터 수집된 레이블을 바탕으로 한 대규모 개인화된 이미지 미학 평가 데이터베이스 PARA를 소개한다. 이 데이터베이스는 9개의 이미지 중심 객관적 속성과 4개의 인간 중심 주관적 속성을 포함하며, 개인화된 예술적 선호도를 보다 정확하게 모델링하기 위해 풍부하고 다양한 레이블을 제공한다. 또한 피실험자 특성(예: 성격, 경험 등)을 사전 지식으로 활용하는 조건부 PIAA 모델을 제안하여 기준 모델 대비 성능 향상을 입증하였다.

ABSTRACT

Personalized image aesthetics assessment (PIAA) is challenging due to its highly subjective nature. People's aesthetic tastes depend on diversified factors, including image characteristics and subject characters. The existing PIAA databases are limited in terms of annotation diversity, especially the subject aspect, which can no longer meet the increasing demands of PIAA research. To solve the dilemma, we conduct so far, the most comprehensive subjective study of personalized image aesthetics and introduce a new Personalized image Aesthetics database with Rich Attributes (PARA), which consists of 31,220 images with annotations by 438 subjects. PARA features wealthy annotations, including 9 image-oriented objective attributes and 4 human-oriented subjective attributes. In addition, desensitized subject information, such as personality traits, is also provided to support study of PIAA and user portraits. A comprehensive analysis of the annotation data is provided and statistic study indicates that the aesthetic preferences can be mirrored by proposed subjective attributes. We also propose a conditional PIAA model by utilizing subject information as conditional prior. Experimental results indicate that the conditional PIAA model can outperform the control group, which is also the first attempt to demonstrate how image aesthetics and subject characters interact to produce the intricate personalized tastes on image aesthetics. We believe the database and the associated analysis would be useful for conducting next-generation PIAA study. The project page of PARA can be found at: https://cv-datasets.institutecv.com/#/data-sets.

연구 동기 및 목표

• 기존의 개인화된 이미지 미학 평가(PIAA) 데이터베이스에서 관찰되는 레이블 다양성 부족 문제, 특히 개인 수준의 주관적 속성 반영의 한계를 해결하기 위해.
• 개인화된 예술적 선호도를 반영하기 위해 이미지 수준의 객관적 속성과 인간 수준의 주관적 속성을 모두 캡처하는 종합적이고 대규모인 PIAA 데이터베이스를 구축하기 위해.
• 설문 정보를 탈식별화하여 성격, 경험 등 사용자 특성과 예술적 판단 간의 관계를 깊이 분석할 수 있도록 하기 위해.
• 사용자 속성을 사전 지식으로 활용하는 조건부 PIAA 모델을 개발하고 검증하여 개인화된 예술적 판단 예측 성능을 향상시키기 위해.
• 다양한 모델링 접근법을 지원하는 차세대 PIAA 연구를 위한 기초 데이터셋과 기준 평가 데이터셋을 제공하기 위해.

제안 방법

• 저자들은 31,220장의 이미지를 438명의 피실험자로부터 수집하였으며, 각 이미지는 평균 25.87회의 레이블을 받았으며, 총 13차원의 속성으로 분류되었다: 9개의 객관적 이미지 속성(예: 구성, 색채, 조명)과 4개의 주관적 인간 속성(예: 콘텐츠 선호도, 정서, 공유 의사).
• 사용자 프로파일링과 선호도 모델링을 지원하기 위해 연령, 성별, 교육 수준, 성격 특성, 예술적/사진 촬영 경험 등의 탈식별화된 피실험자 정보를 수집하였다.
• 딥 뉴럴 네트워크 기반(예: ResNet-50)의 최종층 특징과 함께 피실험자 속성을 조건부 사전 지식으로 통합하여, 조건부 PIAA 모델을 제안하였다.
• 각 피실험자에 대해 10-shot 및 100-shot 지원 세트를 기반으로 모델을 미세조정하였으며, 쿼리 세트에서 SROCC 및 PLCC 지표를 사용해 성능을 평가하였다.
• 40명의 무작위로 선택된 테스트 피실험자에 대해 10겹 교차검증 전략을 적용하였으며, 결과는 10개의 무작위 데이터 분할에 대해 평균화하여 안정성을 확보하였다.
• 제안된 방법은 동일한 기반 모델과 학습 프로토콜을 사용하여, 사전 지식이 없는 무조건적 PIAA(무조건적 모델)와의 비교를 통해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 콘텐츠 선호도, 정서, 공유 의사와 같은 인간 중심의 주관적 속성이 개인화된 예술적 선호도를 효과적으로 반영할 수 있는가?
• RQ2 성격 특성, 예술 경험, 사진 촬영 경험과 같은 피실험자 특성이 이미지의 미학 판단에 어느 정도 영향을 미치는가?
• RQ3 딥 러닝 모델에 피실험자 속성을 조건부 사전 지식으로 통합함으로써, 기준 모델 대비 개인화된 이미지 미학 예측 성능이 향상되는가?
• RQ4 개인화된 데이터의 양(10-shot 대비 100-shot)이 미세조정된 PIAA 모델의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 PARA 데이터베이스는 차세대 PIAA 모델 평가를 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• 성격 특성을 사전 지식으로 사용하는 조건부 PIAA 모델은 ResNet-50 기반으로 PLCC 0.7509, SROCC 0.7384를 기록하였으며, 무조건적 기준 모델(PLCC: 0.7419, SROCC: 0.7329)을 초월하였다.
• 성격 특성 조건부 모델은 무조건적 기준 모델 대비 PLCC 0.009, SROCC 0.0055 향상된 성능 기록.
• 예술 경험을 사전 지식으로 사용하는 조건부 모델은 PLCC 0.7447, SROCC 0.7326을 기록하여 무조건적 그룹 대비 일관된 성능 향상을 보였다.
• 기반 모델의 성능 분석 결과, Swin-Tiny와 Swin-Small는 PARA 기준에서 각각 PLCC 0.9331 및 0.9355를 기록하여 최고의 GIAA 성능을 보였다.
• 100-shot 데이터 기반의 미세조정은 10-shot 데이터 기반의 경우보다 일관되게 성능 향상을 보였으며, 이는 더 많은 개인화된 데이터가 모델 일반화 능력을 향상시킨다는 것을 시사한다.
• 통계 분석 결과, 정서, 콘텐츠 선호도, 공유 의사와 같은 주관적 속성이 예술적 판단과 유의미하게 상관관계가 있음을 확인하여, 이들이 선호도 반영 지표로 사용될 수 있음을 검증하였다.