[논문 리뷰] Describing Human Aesthetic Perception by Deeply-learned Attributes from Flickr.

Luming Zhang|arXiv (Cornell University)|2016. 05. 25.

Visual Attention and Saliency Detection참고 문헌 18인용 수 8

한 줄 요약

이 논문은 플리커 이미지 태그에서 국소화되고 해석 가능한 시각적 미학적 특징을 추출하여 인간의 미학 인식을 모델링하는 약한 지도 학습 기반 딥 러닝 프레임워크를 제안한다. 컨볼루션 네트워크(CNN)를 통해 이미지 수준의 텍스트 특징을 픽셀 수준의 패치로 투영함으로써 지역별로 특화된 매력도를 포착하여, 미학 순위 매기기, 검색 및 리타겟팅 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Many aesthetic models in computer vision suffer from two shortcomings: 1) the low descriptiveness and interpretability of those hand-crafted aesthetic criteria (i.e., nonindicative of region-level aesthetics), and 2) the difficulty of engineering aesthetic features adaptively and automatically toward different image sets. To remedy these problems, we develop a deep architecture to learn aesthetically-relevant visual attributes from Flickr1, which are localized by multiple textual attributes in a weakly-supervised setting. More specifically, using a bag-ofwords (BoW) representation of the frequent Flickr image tags, a sparsity-constrained subspace algorithm discovers a compact set of textual attributes (e.g., landscape and sunset) for each image. Then, a weakly-supervised learning algorithm projects the textual attributes at image-level to the highly-responsive image patches at pixel-level. These patches indicate where humans look at appealing regions with respect to each textual attribute, which are employed to learn the visual attributes. Psychological and anatomical studies have shown that humans perceive visual concepts hierarchically. Hence, we normalize these patches and feed them into a five-layer convolutional neural network (CNN) to mimick the hierarchy of human perceiving the visual attributes. We apply the learned deep features on image retargeting, aesthetics ranking, and retrieval. Both subjective and objective experimental results thoroughly demonstrate the competitiveness of our approach.

연구 동기 및 목표

• 기존 수작업으로 만든 미학 기준의 해석 가능성 부족 및 지역 특이성 부족 문제를 해결하기 위해.
• 다양한 이미지 세트에서 자동으로 적응적으로 학습 가능한 미학 특징을 가능하게 하기 위해.
• 시각적 특징의 계층적 처리 방식을 모방함으로써 인간의 미학 인식을 모델링하기 위해.
• 미학 예측, 이미지 리타겟팅 및 검색 작업의 성능 향상시키기 위해.

제안 방법

• 각 이미지의 텍스트 특징를 추출하기 위해 자주 사용되는 플리커 이미지 태그의 백오브워즈(BoW) 표현을 사용한다.
• 희소성 제약이 가해진 부분공간 알고리즘을 적용하여 압축되고 의미 있는 텍스트 특징 집합(예: '풍경', '일몰')을 발견한다.
• 이미지 수준의 텍스트 특징를 고도로 반응하는 픽셀 수준의 이미지 패치로 투영하기 위해 약한 지도 학습 방법을 활용한다.
• 국소화된 패치를 정규화하고, 다섯 층의 컨볼루션 신경망(CNN)에 입력하여 계층적 시각적 인식을 모델링한다.
• 학습된 딥 페처를 이미지 순위 매기기, 검색 및 이미지 리타겟팅과 같은 후행 작업에 활용한다.
• 심리학적 및 해부학적 증거를 바탕으로 계층적 시각 처리를 유도하여 CNN 아키텍처 설계를 지도한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 태그만을 사용하여 약한 지도 학습 기반으로 픽셀 수준에서 미학적 특징를 국소화하는 데 효과적인가?
• RQ2 텍스트 특징 기반으로 학습된 딥 페처가 얼마나 효과적으로 미학 예측 및 이미지 이해 작업을 향상시키는가?
• RQ3 국소화된 시각적 특징가 인간의 매력적인 영역에 대한 주의를 얼마나 잘 반영하는가?
• RQ4 제안된 계층적 CNN 아키텍처가 인간의 미학적 특징 인식을 효과적으로 모방할 수 있는가?
• RQ5 수작업 특징 엔지니어링 없이도 다양한 이미지 세트에 일반화되는가?

주요 결과

• 제안된 방법은 기존의 수작업 특징에 의존하는 모델보다 이미지 미학 순위 매기기에서 경쟁적인 성능을 달성한다.
• 학습된 시각적 특징는 국소화되고 해석 가능하여 특정 이미지 영역이 미학적 매력도에 기여하는 것을 나타낸다.
• 약한 지도 학습 기반 패치 국소화 기법은 텍스트 특징가 반영한 인간의 매력적인 영역에 대한 주의를 정확히 반영하고 있다.
• 다섯 층의 CNN은 인간의 시각적 인식의 계층적 성격을 효과적으로 모델링하여 특징 표현을 향상시켰다.
• 이 방법은 이미지 리타겟팅 및 검색과 같은 후행 작업에 잘 일반화되어 있어 강건성과 적응성을 입증하였다.
• 주관적 및 객관적 평가 결과, 기준 모델 대비 제안된 방법의 우수성이 확인되었다.