[논문 리뷰] Learning Multi-level Deep Representations for Image Emotion Classification

Tianrong Rao, Min Xu외 1명|arXiv (Cornell University)|2016. 11. 22.

Image Retrieval and Classification Techniques참고 문헌 49인용 수 26

한 줄 요약

이 논문은 MldrNet을 제안하며, 이미지의 의미, 미학적 특성, 저수준 시각적 특징을 전역적이고 국소적인 시각에서 학습하여 이미지 정서 분류 성능을 향상시키는 딥 컨volution 신경망이다. 복수 수준의 특징을 사이드 브랜치와 융합층을 통해 융합함으로써 MldrNet은 최신 기술 대비 6% 이상의 정확도 향상을 달성하였으며, 특히 추상화와 노이즈가 많은 인터넷 기반 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a new deep network that learns multi-level deep representations for image emotion classification (MldrNet). Image emotion can be recognized through image semantics, image aesthetics and low-level visual features from both global and local views. Existing image emotion classification works using hand-crafted features or deep features mainly focus on either low-level visual features or semantic-level image representations without taking all factors into consideration. The proposed MldrNet combines deep representations of different levels, i.e. image semantics, image aesthetics, and low-level visual features to effectively classify the emotion types of different kinds of images, such as abstract paintings and web images. Extensive experiments on both Internet images and abstract paintings demonstrate the proposed method outperforms the state-of-the-art methods using deep features or hand-crafted features. The proposed approach also outperforms the state-of-the-art methods with at least 6% performance improvement in terms of overall classification accuracy.

연구 동기 및 목표

• 수작업 특징 또는 단일 수준의 딥 특징에만 초점을 맞춘 기존 이미지 정서 분류 방법의 한계를 해결하기 위해.
• 정서가 의미, 미학, 저수준 특징 등 다양한 요소를 통해 전달되는 이미지에서 정서를 분류하는 도전 과제를 극복하기 위해.
• 감정 레이블이 신뢰할 수 없는 노이즈가 많은 실세계 데이터셋에서의 성능 향상을 위해.
• 종합적인 엔드 투 엔드 학습을 위해 고수준, 중수준, 저수준 시각적 표현을 효과적으로 통합하는 딥 러닝 프레임워크를 개발하기 위해.
• 기존의 CNN이 성능을 발휘하지 못하는 도전적인 데이터셋, 예를 들어 추상화나 웹 이미지에서의 강건성과 뛰어난 성능을 입증하기 위해.

제안 방법

• 고수준 의미, 중수준 미학, 저수준 시각적 특징에서 특징을 추출할 수 있는 사이드 브랜치를 갖춘 다수 수준의 딥 표현 네트워크(MldrNet)를 제안한다.
• 사전 훈련된 CNN의 복수 컨볼루션 레이어에서 깊이 있는 표현을 추출하여 전역(고수준) 및 국소(저수준) 시각적 관점에서 특징을 캡처한다.
• 다양한 수준의 표현을 융합하기 위해 융합층을 사용하여 의미, 미학, 저수준 특징의 공동 학습을 가능하게 한다.
• 감정 분류를 위한 교차 엔트로피 손실을 사용하여 최종 완전 연결 레이어에서의 피니튜닝을 포함한 엔드 투 엔드 훈련을 적용한다.
• 불균형 데이터셋에서의 신뢰성 있는 평가를 위해, 불균형한 데이터셋에 대해 5폴드 및 10폴드 교차 검증 전략을 활용한다.
• 특히 분류 빈도가 낮은 감정 카테고리(예: 분노)에 대해선 '일대다' 전략을 활용하여 분류기 학습을 수행한다.

실험 결과

연구 질문

• RQ1 의미, 미학, 저수준 특징 등 다양한 수준의 시각적 표현을 통합한 딥 러닝 모델이 단일 수준의 표현에 의존하는 모델보다 성능이 뛰어나게 되는가?
• RQ2 감정이 주로 질감과 색상으로 전달되는 추상화를 포함한 이미지 정서 분류 작업에서 MldrNet의 성능은 어떠한가?
• RQ3 감정 레이블이 신뢰할 수 없는 노이즈가 많은 인터넷 기반 데이터셋에서 MldrNet은 표준 CNN에 비해 얼마나 정확도 향상을 이루는가?
• RQ4 다양한 이미지 유형(웹 이미지, 예술 작품 등)에서 다수 수준의 깊이 있는 표현 융합이 더 강건한 성능을 이끌어내는가?
• RQ5 특히 각 감정 카테고리의 학습 데이터가 제한적이거나 불균형한 경우, MldrNet은 기존 최신 기술 대비 더 잘 일반화되는가?

주요 결과

• MldrNet은 추상화 데이터셋인 MART에서 76.4%의 정확도를 달성하여, AlexNet(69.8%)과 NLMC(72.8%), LMC(71.8%) 등의 기준 모델들을 뛰어넘었다.
• IAPS-Subset 및 Abstract 데이터셋에서 MldrNet은 대부분의 감정 카테고리에서 일관된 성능 향상을 보였으며, 특히 수작업 특징 방법과 AlexNet이 성능을 발휘하지 못하는 영역에서 두드러진 성능 향상을 보였다.
• 딥 또는 수작업 특징을 사용하는 최신 기술 대비 MldrNet은 전체 정확도를 최소 6% 이상 향상시켰다.
• MldrNet은 노이즈가 많은 인터넷에서 수집된 데이터셋에서도 강건성을 보이며, 고품질 수작업 레이블 데이터에 대한 의존도를 감소시켰다.
• 특히 중수준의 미학과 저수준의 시각적 특징 융합이 추상화 및 예술적 이미지에서 뚜렷한 성능 향상을 이끌어내었다.
• ArtPhoto 및 Abstract 데이터셋에서 5폴드 교차 검증을 수행한 결과, 대부분의 감정 카테고리에서 MldrNet은 가장 높은 클래스별 진짜 양성률을 기록하여 강력한 클래스별 일반화 능력을 입증하였다.