[논문 리뷰] Understanding Aesthetics with Language: A Photo Critique Dataset for Aesthetic Assessment

Daniel Vera Nieto, L. Celona외 1명|arXiv (Cornell University)|2022. 06. 17.

Visual Attention and Saliency Detection인용 수 7

한 줄 요약

이 논문은 74,000장의 고해상도 이미지와 220,000개의 사용자 생성 사진 평가 문구를 포함하는 대규모 데이터셋인 Reddit Photo Critique Dataset(RPCD)를 소개한다. 이는 평가 문구의 감성 극성(sentiment polarity)을 미적 판단의 대체 지표로 사용하여 인간 평가와 강한 상관관계를 보임을 입증하며, 평가 문구 감성에 맞게 피지컬 트랜스포머(Vision Transformers)를 미세조정한 모델이 이전 방법들을 능가하는 성능을 보임을 보여준다.

ABSTRACT

Computational inference of aesthetics is an ill-defined task due to its subjective nature. Many datasets have been proposed to tackle the problem by providing pairs of images and aesthetic scores based on human ratings. However, humans are better at expressing their opinion, taste, and emotions by means of language rather than summarizing them in a single number. In fact, photo critiques provide much richer information as they reveal how and why users rate the aesthetics of visual stimuli. In this regard, we propose the Reddit Photo Critique Dataset (RPCD), which contains tuples of image and photo critiques. RPCD consists of 74K images and 220K comments and is collected from a Reddit community used by hobbyists and professional photographers to improve their photography skills by leveraging constructive community feedback. The proposed dataset differs from previous aesthetics datasets mainly in three aspects, namely (i) the large scale of the dataset and the extension of the comments criticizing different aspects of the image, (ii) it contains mostly UltraHD images, and (iii) it can easily be extended to new data as it is collected through an automatic pipeline. To the best of our knowledge, in this work, we propose the first attempt to estimate the aesthetic quality of visual stimuli from the critiques. To this end, we exploit the polarity of the sentiment of criticism as an indicator of aesthetic judgment. We demonstrate how sentiment polarity correlates positively with the aesthetic judgment available for two aesthetic assessment benchmarks. Finally, we experiment with several models by using the sentiment scores as a target for ranking images. Dataset and baselines are available (https://github.com/mediatechnologycenter/aestheval).

연구 동기 및 목표

• 단일 값의 미적 점수에 한계가 있음을 고려해 자연어 평가 문구를 통해 더 풍부하고 해석 가능한 피드백을 포착하고자 한다.
• 실제 사진 공유 커뮤니티에서 유래한 대규모 고해상도 이미지-댓글 쌍 데이터셋을 구축하여, 미적 평가 연구를 위한 기반을 마련하고자 한다.
• 명시적인 인간 평가가 없이도 사진 평가 문구의 감성 극성이 미적 판단에 신뢰할 수 있는 대체 지표가 될 수 있는지 탐구하고자 한다.
• 다중모odal 모델이 텍스트 기반 평가 문구를 활용해 이미지의 미적 순위 매기기 및 캡션 생성에 얼마나 효과적으로 기여하는지 평가하고자 한다.
• 향후 연구를 위한 계산적 미학 및 다중모달 추론 분야에서의 확장이 가능한 공개된 데이터셋과 기준 모델을 제공하고자 한다.

제안 방법

• 사진 피드백에 중점을 둔 레딧 커뮤니티에서 74,000장의 이미지와 220,000개의 사진 평가 문구를 수집하였다.
• 댓글이 없거나 이미지 접근이 불가한 게시물을 필터링하여, 첫 번째 수준의 댓글만 유지한 후 데이터 전처리를 수행하였다.
• 자연어 처리(NLP) 기법을 활용해 평가 문구의 감성 극성을 추출하여, 미적 판단의 대체 지표로 활용하였다.
• 비전 트랜스포머(ViT) 모델을 감성 점수를 순위 매김 타겟으로 삼아 이미지의 미적 평가에 대해 훈련 및 평가하였다.
• 다양한 미적 평가 및 캡션 생성 작업을 동시에 평가할 수 있는 통합 평가 프레임워크를 설계하였다.
• GitHub와 Zenodo를 통해 데이터셋, 코드, 기준 모델을 Creative Commons Attribution 4.0 라이선스 하에 공개하여, 향후 연구 및 확장이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 명시적인 인간 평가 없이도 사용자가 생성한 사진 평가 문구의 감성 극성이 이미지의 미적 품질을 신뢰성 있게 예측할 수 있는가?
• RQ2 기존의 미적 점수에 기반해 훈련된 모델과 비교해, 평가 문구의 감성 극성에 기반해 훈련된 비전 모델의 성능은 어떠한가?
• RQ3 단일 값의 미적 점수보다, 미적 평가 댓글이 계산적 미적 평가에 더 유용한 신호를 제공하는 정도는 어느 정도인가?
• RQ4 감성 극성을 이해하도록 훈련된 모델이, 예를 들어 미적 이미지 캡션 생성과 같은 다른 작업으로 일반화될 수 있는가?
• RQ5 RPCD의 규모와 해상도는 기존 데이터셋과 비교해 다중모달 학습에 있어 얼마나 유용한가?

주요 결과

• 두 개의 벤치마크 데이터셋에서 사진 평가 문구의 감성 극성과 인간 평가 점수 사이에 강한 양의 상관관계가 확인되었다.
• 평가 문구의 감성 점수에 맞게 미세조정한 비전 트랜스포머(Vision Transformers) 모델이 이미지의 미적 평가에서 최신 기술 수준(SOTA)의 성능을 달성하였다.
• 평가 문구의 감성 극성에서 유도된 미적 인식 특징을 학습하는 것은 단지 의미적 특징만 사용하는 모델보다도 유의미한 성능 향상을 이끌어냈다.
• 동일한 아키텍처를 가진 모델이 다른 목적(예: 미적 순위 매기기 vs. 캡션 생성)으로 훈련되었을 때는 성능 특성이 뚜렷하게 다름을 확인하여, 과제에 특화된 적응의 중요성을 입증하였다.
• RPCD 데이터셋은 현재까지 가장 크고 해상도가 높은 이미지-댓글 쌍 데이터셋으로, 이전 데이터셋보다 댓글이 더 길고 더 정보가 풍부하다.
• 데이터셋과 기준 모델은 전체 재현 가능성을 확보하여 공개되었으며, 자동화된 파이프라인을 통한 향후 연구 및 확장이 가능하도록 하였다.