[논문 리뷰] Learning Image Aesthetic Assessment from Object-level Visual Components

Jingwen Hou, Sheng Yang외 3명|arXiv (Cornell University)|2021. 04. 04.

Visual Attention and Saliency Detection참고 문헌 44인용 수 4

한 줄 요약

이 논문은 일반적인 객체 검출기로 검출한 개체 수준의 시각적 구성요소(OVCs)를 통해 미학을 모델링하는 새로운 딥러닝 프레임워크 IAA-OVC를 제안한다. 개체 수준 및 그래프 어텐션 메커니즘을 적용하여 개별 OVC와 그 상호관계를 동적으로 가중치를 부여함으로써, 미학 평가 분포 예측 성능을 향상시키고, 시각적 구성요소가 미학 판단에 기여하는 방식에 대해 처음으로 해석 가능한 분석을 제공한다. 이는 사진 촬영 이론과 심리학 이론과도 부합한다.

ABSTRACT

As it is said by Van Gogh, great things are done by a series of small things brought together. Aesthetic experience arises from the aggregation of underlying visual components. However, most existing deep image aesthetic assessment (IAA) methods over-simplify the IAA process by failing to model image aesthetics with clearly-defined visual components as building blocks. As a result, the connection between resulting aesthetic predictions and underlying visual components is mostly invisible and hard to be explicitly controlled, which limits the model in both performance and interpretability. This work aims to model image aesthetics from the level of visual components. Specifically, object-level regions detected by a generic object detector are defined as visual components, namely object-level visual components (OVCs). Then generic features representing OVCs are aggregated for the aesthetic prediction based upon proposed object-level and graph attention mechanisms, which dynamically determines the importance of individual OVCs and relevance between OVC pairs, respectively. Experimental results confirm the superiority of our framework over previous relevant methods in terms of SRCC and PLCC on the aesthetic rating distribution prediction. Besides, quantitative analysis is done towards model interpretation by observing how OVCs contribute to aesthetic predictions, whose results are found to be supported by psychology on aesthetics and photography rules. To the best of our knowledge, this is the first attempt at the interpretation of a deep IAA model.

연구 동기 및 목표

• 기존의 딥러닝 기반 이미지 미학 평가(IAA) 방법에서의 해석 가능성 부족과 구성요소 수준의 모델링 부족 문제를 해결하기 위해.
• 전체 이미지 특징이 아닌, 사전 정의된 개체 수준의 시각적 구성요소(OVCs)를 기본 단위로 삼아 이미지의 미학을 모델링하기 위해.
• 각 OVC의 중요도와 상호관계를 기반으로 동적으로 어텐션 기반의 집합을 수행하기 위해.
• OVC 기여도를 미학 예측과 연결하여, 딥 IAA 모델에 대한 첫 번째 정량적 해석을 제공하기 위해.
• 촬영 규칙(예: 주목 대상 일致성)과 심리학 이론(예: 시각적 정당성)과의 일치성을 검증하기 위해.

제안 방법

• 개체 수준의 시각적 구성요소(OVCs)는 일반적인 객체 검출기(예: Faster R-CNN)로부터의 객체 검출 결과로 정의되며, 기본 시각 단위로 기능한다.
• 각 OVC는 그 영역에서 추출된 깊이 있는 일반 특징(예: MLSP 특징)으로 표현되며, 모델의 입력이 된다.
• 개체 수준 어텐션 기반 재가중 모듈은 각 OVC에 대한 동적 중요도 점수를 계산하여 주목 대상 탐지 및 주목 할당을 모방한다.
• 그래프 어텐션 기반 집합 모듈은 OVC 간의 쌍별 관련성 점수를 계산하여 개체 조직의 선명도를 모델링한다.
• 최종적인 미학 표현은 학습된 어텐션 가중치를 사용해 OVC 특징을 집합한 후, 평가 분포 예측을 위한 회귀 헤드를 거쳐 형성된다.
• 학습 및 테스트 세트에서의 어텐션 점수와 미학 점수 간의 상관관계 분 析를 통해 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 개체 수준의 시각적 구성요소(OVCs)를 통해 이미지의 미학을 모델링하면, 딥 IAA 모델의 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ2 학습된 개체 수준 어텐션 점수는 사진 촬영에서의 주목 대상 탐지 및 주목 대상 일치성과 상관관계가 있는가?
• RQ3 그래프 어텐션을 통해 계산된 OVC 쌍 간의 관련성은 심리학 이론에서 제시한 시각적 정당성 이론에 따라 미학 품질을 예측하는 데 기여하는가?
• RQ4 학습 중에 학습된 어텐션 패턴이 새로운 테스트 이미지로 일반화되는가? 이는 학습된 규칙의 강건성과 일반화 능력을 시사한다.
• RQ5 모델이 학습한 어텐션 패턴은 기존의 사진 촬영 규칙과 심리학적 미학 인식 원리와 일치하는가?

주요 결과

• 제안된 IAA-OVC 프레임워크는 AVA 데이터셋에서 기존 방법들을 능가하는 성능을 달성하여, 미학 평가 분포 예측에서 SRCC 및 PLCC 모두에서 슈퍼리어한 성능을 보였다.
• 개체 수준 어텐션 점수는 주목 대상 존재와 강한 상관관계를 보였다: '얼굴'이나 '사람'과 같은 주목 대상에 높은 어텐션은 높은 미학 점수와 정적 상관관계를 보였고, '귀'와 같은 비주목 대상에 대한 어텐션은 부정적 상관관계를 보였다.
• 흐릿한 영역에 높은 어텐션을 가진 경우, 이는 미학 점수와 강하게 부정적 상관관계를 보였으며, 이미지 왜곡이 미학 품질을 떨어뜨린다는 것을 확인했다.
• 특정 객체 클래스 쌍(예: '눈'과 '얼굴') 간의 그래프 어텐션 점수는 미학 점수와 강한 정적 상관관계를 보였으며, 선명한 객체 조합이 인식된 품질을 향상시킨다는 것을 시사한다.
• 어텐션 패턴과 미학 점수 간의 상관관계는 학습 세트에서 테스트 세트로 이르기까지 일관되게 유지되었으며, 이는 강건하고 일반화 가능한 어텐션 메커니즘을 의미한다.
• 모델의 어텐션 행동은 심리학 이론과 일치한다: 주목 대상이 우선시되고, 선명한 객체 쌍(예: 얼굴 특징)이 강조되며, 이는 시각적 정당성 및 주목 대상 일치 원칙을 지지한다.