[논문 리뷰] Image Composition Assessment with Saliency-augmented Multi-pattern Pooling

Bo Zhang, Li Niu외 1명|arXiv (Cornell University)|2021. 04. 07.

Visual Attention and Saliency Detection참고 문헌 21인용 수 7

한 줄 요약

이 논문은 이미지 구성 평가를 위한 전용 데이터셋 CADB와 함께, 각 이미지당 다섯 명의 전문 평가자 점수를 포함하며, 다양한 시각적 레이아웃 패턴에서 구성 평가를 수행할 수 있는 Saliency-augmented Multi-pattern Pooling (SAMP) 모듈을 갖춘 새로운 네트워크 SAMP-Net을 제안한다. 이는 패턴별 특징 집약, 구성 속성, 그리고 내용 편향을 줄이기 위해 가중치가 부여된 Earth Mover’s Distance 손실을 활용함으로써 기존의 미적 평가 모델을 초월한다.

ABSTRACT

Image composition assessment is crucial in aesthetic assessment, which aims to assess the overall composition quality of a given image. However, to the best of our knowledge, there is neither dataset nor method specifically proposed for this task. In this paper, we contribute the first composition assessment dataset CADB with composition scores for each image provided by multiple professional raters. Besides, we propose a composition assessment network SAMP-Net with a novel Saliency-Augmented Multi-pattern Pooling (SAMP) module, which analyses visual layout from the perspectives of multiple composition patterns. We also leverage composition-relevant attributes to further boost the performance, and extend Earth Mover's Distance (EMD) loss to weighted EMD loss to eliminate the content bias. The experimental results show that our SAMP-Net can perform more favorably than previous aesthetic assessment approaches.

연구 동기 및 목표

• 이미지 구성 평가를 위한 전용이고 고품질의 데이터셋이 부족한 문제를 해결하기 위해.
• 전체 이미지 구성 품질 평가에 특화된 딥러닝 모델을 개발하기 위해.
• 다양한 구성 패턴(예: 삼등분 법칙, 대칭성 등)을 별개의 시각적 관점으로 활용하여 레이아웃 분석을 수행하기 위해.
• Earth Mover’s Distance (EMD) 손실을 가중치가 부여된 변형으로 확장하여 구성 평가의 내용 편향을 줄이기 위해.
• 최종 점수에 가장 영향을 미치는 구성 패턴을 해석 가능한 인사이트로 제공하기 위해.

제안 방법

• 다양한 사전 정의된 구성 패턴(예: 격자 기반, 반사형, 대칭성 등)을 통해 특징 맵을 처리하는 새로운 Saliency-augmented Multi-pattern Pooling (SAMP) 모듈을 제안한다.
• 각 구성 패턴에 따라 특징 맵에 공간 변환을 적용하여 레이아웃 및 요소 분포에 대한 패턴별 분석을 가능하게 한다.
• 시각적 주목도 맵을 통합하여 풀링 과정에서 의미적으로 중요한 영역에 집중함으로써 구성적으로 중요한 요소에 대한 주목도를 향상시킨다.
• 학습된 가중치를 통해 패턴별 특징를 조합함으로써, 각 이미지에 가장 관련성이 높은 구성 패턴을 동적으로 강조할 수 있도록 한다.
• 예측 점수 분포를 다수의 평가자로부터의 진정값 분포와 더 잘 맞추기 위해 가중치가 부여된 Earth Mover’s Distance (wEMD) 손실을 사용한다.
• 예를 들어 삼등분 법칙, 대칭성 등의 구성 관련 속성을 보조 supervision으로 통합하여 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 패턴 풀링 메커니즘이 다양한 구성 규칙을 효과적으로 모델링하고 구성 평가 성능을 향상시킬 수 있는가?
• RQ2 시각적 주목도 맵을 통합함으로써 모델이 구성적으로 관련성이 높은 이미지 영역에 집중하는 능력이 어떻게 향상되는가?
• RQ3 가중치가 부여된 EMD 손실을 사용할 경우 내용 편향이 얼마나 감소하고 인간 평가자 분포와의 일치도가 향상되는가?
• RQ4 모델이 예측한 패턴 가중치가 이미지 구성 향상 방법에 대해 설명 가능한 피드백을 제공할 수 있는가?
• RQ5 전문 평가자에 의해 애너테이션된 데이터셋에서 기존의 미적 평가 모델과 비교해 본다면, 본 방법은 정확도와 일반화 능력 측면에서 어떤가?

주요 결과

• SAMP-Net은 CADB 데이터셋에서 최신 기준 성능을 달성하여, 구성 전용으로 설계된 모델을 포함한 모든 베이스라인 미적 평가 모델을 능가한다.
• SAMP 모듈은 각 이미지에 가장 관련성이 높은 구성 패턴을 학습하고 우선순위를 정함을 패턴 가중치 시각화를 통해 입증한다.
• 가중치가 부여된 EMD 손실의 사용은 인간 평가자의 공감 분포와의 점수 분포 일치도를 크게 향상시키며, 내용 편향을 감소시킨다.
• 모델의 예측은 인간 평가자 점수와 양호한 상관관계를 보이지만, 순위 일致성 측면에선 여전히 개선 여지가 있음을 시사한다.
• 실패 사례는 일반적으로 복잡한 배경이나 모호한 구성 요소를 가진 이미지에서 자주 발생하며, 이 경우 모델이 고품질의 구성임을 과소 평가하는 경향이 있다.
• 절단 실험 결과 각 구성 패턴이 최종 점수에 독립적인 기여를 하며, 더 많은 패턴을 추가할수록 성능 향상이 이루어짐을 확인하였다.