[논문 리뷰] Composition-Aware Image Aesthetics Assessment

Dong Liu, Rohit Puri외 2명|arXiv (Cornell University)|2019. 07. 25.

Visual Attention and Saliency Detection참고 문헌 43인용 수 4

한 줄 요약

이 논문은 지역적 이미지 영역 간 상호의존성을 영역 조합 그래프와 그래프 컨volution 네트워크를 통해 모델링하는 구성 인식 딥러닝 프레임워크인 RGNet을 제안한다. 이미지를 조밀하게 공간 영역으로 분할하고, 미학 유지 특징을 인코딩하며, 영역 유사도 그래프를 통해 추론함으로써, RGNet은 AVA 및 AADB 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법보다 정확도에서 최대 6.19% 향상시켰다.

ABSTRACT

Automatic image aesthetics assessment is important for a wide variety of applications such as on-line photo suggestion, photo album management and image retrieval. Previous methods have focused on mapping the holistic image content to a high or low aesthetics rating. However, the composition information of an image characterizes the harmony of its visual elements according to the principles of art, and provides richer information for learning aesthetics. In this work, we propose to model the image composition information as the mutual dependency of its local regions, and design a novel architecture to leverage such information to boost the performance of aesthetics assessment. To achieve this, we densely partition an image into local regions and compute aesthetics-preserving features over the regions to characterize the aesthetics properties of image content. With the feature representation of local regions, we build a region composition graph in which each node denotes one region and any two nodes are connected by an edge weighted by the similarity of the region features. We perform reasoning on this graph via graph convolution, in which the activation of each node is determined by its highly correlated neighbors. Our method naturally uncovers the mutual dependency of local regions in the network training procedure, and achieves the state-of-the-art performance on the benchmark visual aesthetics datasets.

연구 동기 및 목표

• 이미지 내 시각적 요소 간 상호의존성을 명시적으로 모델링하여 이미지의 미학 평가 성능을 향상시키는 것.
• 기존의 CNN 기반 방법이 전반적인 이미지 특징에 의존함으로써 구성 인식 특징를 인코딩하지 못하는 한계를 해결하는 것.
• 지역적 특징 인코딩과 그래프 기반 추론을 통합한 엔드 투 엔드 딥러닝 아키텍처를 개발하는 것.
• 학습 가능한 그래프 구조를 통한 영역 간 상호의존성 모델링이 벤치마크 데이터셋에서 성능 향상에 크게 기여한다는 것을 입증하는 것.

제안 방법

• 이 방법은 이미지를 세밀한 공간 격자로 분할하여 미세한 시각적 세부 정보와 다중 척도적 맥락을 포착한다.
• 각 영역에서 시각적 품질과 맥락 정보를 유지하는 특징을 추출하기 위해 미학 유지 특징 인코딩 네트워크를 활용한다.
• 각 노드가 국소 영역를 나타내며, 엣지는 영역 특징 간余弦 유사도로 가중치가 부여된 영역 조합 그래프를 구성한다.
• 그래프 컨볼루션 네트워크(GCNs)를 적용하여 그래프 전역에서 특징을 전파하고 정제함으로써 장거리 영역 간 의존성을 추론할 수 있도록 한다.
• 전체 아키텍처는 엔드 투 엔드로 훈련되어 원시 이미지에서 직접 구성 인식 표현을 학습할 수 있도록 한다.
• 그래프 컨볼루션 후 집계된 특징에서 최종적인 미학 점수를 예측하며, 추가 후처리 없이 수행된다.

실험 결과

연구 질문

• RQ1 국소 이미지 영역 간 상호의존성을 모델링하면 전역 특징 표현을 넘어서 이미지의 미학 평가 성능 향상에 기여할 수 있는가?
• RQ2 학습 가능한 영역 조합 그래프가 미학에 관련된 장거리 공간적 및 시각적 관계를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 CNN 기반 특징 추출기와 그래프 기반 추론을 통합하면 표준 벤치마크에서 성능 향상이 실제로 측정 가능한가?
• RQ4 학습된 영역 유사도가 인간의 시각적 조화와 구성 인식과 얼마나 일치하는가?

주요 결과

• AADB 테스트 세트에서 RGNet은 스피어먼의 ρ를 0.7104로 기록하여 이전 최신 기술 수준보다 정확도에서 3.22% 향상시켰다.
• AVA 데이터셋에서 RGNet은 MNA-CNN-Scene 기반선보다 분류 정확도를 6.19% 향상시켰으며, 이 기반선 역시 구성 보존을 주장한다.
• 그래프 컨볼루션 레이어에서 유도된 특징 유사도 맵은 훨씬 더 크고 일관성 있는 뜨거운 영역을 보이며, 장거리 의존성의 효과적인 모델링을 시사한다.
• 모델의 성능 향상은 그래프 컨볼루션 메커니즘이 관련된 영역 정보를 통합함으로써 특징 표현을 향상시킨 덕분이다.
• 시각화 결과는 모델이 의미적으로나 시각적으로 유사한 영역(예: 바위와 그 인접한 요소)을 높은 상관관계로 인식함으로써 예술적 조합 원칙과 일치하는 것을 확인했다.