[논문 리뷰] Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark

Quanzeng You, Jiebo Luo외 2명|arXiv (Cornell University)|2016. 05. 09.

Visual Attention and Saliency Detection참고 문헌 26인용 수 81

한 줄 요약

이 논문은 시각적 정서 인식을 위한 대규모이고 인간에 의해 레이블이 붙인 데이터셋을 소개하며, 기존에 가장 큰 데이터셋보다 30배 이상 확장한다. 미세조정된 CNN에서 추출한 딥 페처를 사용하여 딥 러닝이 전통적인 수작업으로 만든 시각적 특징보다 우수함을 입증하며, 정서 인식 분야의 새로운 기준을 설정한다.

ABSTRACT

Psychological research results have confirmed that people can have different emotional reactions to different visual stimuli. Several papers have been published on the problem of visual emotion analysis. In particular, attempts have been made to analyze and predict people's emotional reaction towards images. To this end, different kinds of hand-tuned features are proposed. The results reported on several carefully selected and labeled small image data sets have confirmed the promise of such features. While the recent successes of many computer vision related tasks are due to the adoption of Convolutional Neural Networks (CNNs), visual emotion analysis has not achieved the same level of success. This may be primarily due to the unavailability of confidently labeled and relatively large image data sets for visual emotion analysis. In this work, we introduce a new data set, which started from 3+ million weakly labeled images of different emotions and ended up 30 times as large as the current largest publicly available visual emotion data set. We hope that this data set encourages further research on visual emotion analysis. We also perform extensive benchmarking analyses on this large data set using the state of the art methods including CNNs.

연구 동기 및 목표

• 시각적 정서 인식을 위한 대규모이고 고품질의 레이블이 붙은 데이터셋 부족 문제를 해결하기 위해.
• 기존의 수작업으로 만든 시각적 특징과 비교하여 딥 컨volution 네트워크(CNN)가 시각적 정서 분석에서 얼마나 효과적인지 평가하기 위해.
• 최신 딥 러닝 기법을 사용하여 시각적 정서 인식의 새로운 기준을 설정하기 위해.
• 연구 공동체에 데이터셋을 공개하여 정서 컴퓨팅 및 멀티미디어 분석 분야의 발전을 가속화하기 위해.

제안 방법

• 감정 관련 키워드를 기반으로 온라인 자료에서 300만 장 이상의 약한 레이블이 붙은 이미지를 수집하였다.
• 아마존 메카니컬 터크를 활용해 각 이미지에 대해 인간이 레이블을 붙였으며, 여덟 가지 감정 카테고리(기쁨, 경외, 만족, 흥분, 분노, 혐오, 공포, 슬픔)로 구성된 강력한 레이블이 붙은 데이터셋을 확보하였다.
• 마지막 완전 연결층을 사용해 사전 학습 및 미세조정된 CNN(예: ImageNet-CNN, Noisy-Fine-tuned-CNN, Fine-tuned-CNN)에서 딥 페처를 추출하였다.
• 주성분 분석(PCA)을 통해 특징 차원을 4096에서 20으로 감소시켰으며, 분산의 최소 90%를 유지하였다.
• 5겹 교차검증을 사용해 클래스별 페널티를 적용한 선형 서포트 벡터 머신(SVM)을 훈련하여 각 클래스의 참 긍정률을 최적화하였다.
• 다양한 최신 수작업 특징 세트(Machajdik, Yanulevskaya, Wang, Zhao)와의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크(CNN)가 수작업으로 만든 시각적 특징보다 시각적 정서 인식에서 뛰어난 성능을 내는가?
• RQ2 사전 학습된 CNN을 감정 전용 데이터에 대해 미세조정하면 다양한 감정 카테고리에서 성능에 어떤 영향을 미치는가?
• RQ3 데이터셋의 규모와 레이블 품질이 딥 러닝 모델의 시각적 정서 인식 성능에 어떤 영향을 미치는가?
• RQ4 다양한 감정 카테고리와 데이터 분포(예: 실제 사진 vs. 추상화) 간에 딥 페처는 얼마나 일관성 있는가?

주요 결과

• 미세조정된 CNN에서 추출한 딥 페처는 기존 최고 수준의 수작업 특징보다 여러 감정 카테고리에서 뛰어난 성능을 보였으며, 특히 기쁨과 경외와 같은 긍정적 감정에서 두드러졌다.
• 딥 페처의 성능은 감정 카테고리 간에 크게 차이가 났으며, ArtPhoto 데이터셋에서 만족과 공포의 정확도가 낮아 미세한 감정 인식의 지속적인 과제임을 시사했다.
• 미세조정된 CNN는 ImageNet 사전 학습 모델이나 노이즈가 포함된 미세조정 모델보다 감정 카테고리 간에 더 일관된 성능을 보였으며, 도메인 적응이 모델의 강건성 향상에 기여함을 시사했다.
• SVM 훈련 시 클래스별 페널티를 적용함으로써, 분노와 같은 저빈도 감정(두 데이터셋에서 각각 8장, 3장)의 경우에도 참 긍정률이 향상되었다.
• 일부 카테고리에서는 강력한 성능를 보였지만, 여전히 일부 감정에서 딥 페처의 성능이 열등하여, 딥 러닝을 사용하더라도 시각적 정서 인식은 여전히 도전적인 문제임을 시사했다.
• 제안된 데이터셋은 300만 장 이상의 인간 레이블이 붙은 이미지로 구성되어 있으며, 이는 이전에 가장 큰 공개 데이터셋보다 30배 이상 크며, 더 견고한 벤치마킹과 향후 연구를 가능하게 한다.