[논문 리뷰] Building Emotional Machines: Recognizing Image Emotions through Deep Neural Networks

Hye‐Rin Kim, Yeong-Seok Kim외 2명|arXiv (Cornell University)|2017. 05. 22.

Image Retrieval and Classification Techniques참고 문헌 2인용 수 8

한 줄 요약

이 논문은 사전 훈련된 CNN에서 추출한 통합된 고수준 특징—물체 및 배경 의미 정보—를 사용하여 이미지에서 연속적인 정서 상태(조절성과 각성도)를 예측하는 딥러닝 프레임워크를 제안한다. 이는 새로 수집한 커뮤니티 기반 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 주요 기여는 차원 정서 예측을 위한 첫 번째 엔드 투 엔드 딥 네트워크 모델(정서 예측 VA 모델)을 개발한 것이다.

ABSTRACT

An image is a very effective tool for conveying emotions. Many researchers have investigated in computing the image emotions by using various features extracted from images. In this paper, we focus on two high level features, the object and the background, and assume that the semantic information of images is a good cue for predicting emotion. An object is one of the most important elements that define an image, and we find out through experiments that there is a high correlation between the object and the emotion in images. Even with the same object, there may be slight difference in emotion due to different backgrounds, and we use the semantic information of the background to improve the prediction performance. By combining the different levels of features, we build an emotion based feed forward deep neural network which produces the emotion values of a given image. The output emotion values in our framework are continuous values in the 2-dimensional space (Valence and Arousal), which are more effective than using a few number of emotion categories in describing emotions. Experiments confirm the effectiveness of our network in predicting the emotion of images.

연구 동기 및 목표

• 물체 및 배경와 같은 고수준 의미 특징을 활용하여 이미지 정서 인식에서 정서적 갭을 줄이기 위해.
• 이산 정서 카테고리가 아닌 연속적인 정서 상태(조절성과 각성도)를 예측하는 딥러닝 모델을 개발하기 위해.
• 커뮤니티 기반으로 10,000장의 이미지에 조절성-각성도 값을 함께 애너테이션한 새로운 대규모 이미지 정서 데이터셋을 구축하기 위해.
• 사전 훈련된 네트워크에서 유도된 고수준 의미 특징과 저수준 특징(색상 통계)을 결합하여 정서 예측의 입력 표현을 풍부하게 하기 위해.
• 물체 및 배경 의미 정보가 이미지 정서의 강력한 예측자임을 입증하기 위해.

제안 방법

• 사전 훈련된 ImageNet 모델(AlexNet 및 VGG19)에서 이미지 분류 및 의미 세그멘테이션 작업에 대해 미세조정된 모델을 통해 고수준 의미 특징(물체 및 배경)을 추출한다.
• 사전 훈련된 CNN의 마지막 완전 연결층에서 추출한 특징을 피드포워드 딥 네트워크(FFNN)의 입력으로 사용하여 정서 회귀를 수행한다.
• 저수준 특징(색상 통계)과 고수준 의미 특징을 결합하여 정서 예측을 위한 입력 표현을 향상시킨다.
• 2차원 공간(1–9 척도)에서 연속적인 조절성 및 각성도 값을 예측하기 위해 평균 제곱오차 손실을 사용하여 FFNN을 훈련한다.
• 훈련 중에 CNN 특징을 미세조정하여 정서 예측 작업에 적합한 특징 표현을 향상시킨다.
• 커뮤니티 기반으로 10,000장의 이미지에 조절성 및 각성도 값을 애너테이션한 새로운 데이터셋을 수집한다.

실험 결과

연구 질문

• RQ1 저수준 특징만을 사용하는 것과 비교해 볼 때, 물체 및 배경 의미 정보와 같은 고수준 의미 특징이 이미지 정서 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 딥 피드포워드 신경망이 이미지 특징에서 연속적인 조절성 및 각성도 값을 예측하는 데 얼마나 효과적인가?
• RQ3 물체 및 배경 의미 정보를 결합하면 단독으로 사용할 경우보다 더 나은 정서 예측 성능을 달성할 수 있는가?
• RQ4 물체 인식의 정확도가 제안된 프레임워크에서 정서 예측 정확도에 어느 정도 영향을 미치는가?
• RQ5 사전 훈련된 CNN이 정서 예측을 위한 의미 특징 표현을 향상시키기 위해 효과적으로 미세조정될 수 있는가?

주요 결과

• 제안된 모델은 테스트 세트에서 조절성에 대해 1.64, 각성도에 대해 1.47의 최저 평균 제곱오차(MSE)를 기록하여 선형 회귀 및 서포트 벡터 회귀를 능가하는 성능을 보였다.
• 미세조정된 컨볼루션 특징을 사용한 모델(conv-train)이 고정된 특징 버전(conv-frozen)보다 더 우수한 성능을 보여, 엔드 투 엔드 적응의 이점이 있음을 확인하였다.
• 물체 의미 특징이 정서 값과 높은 상관관계를 보여, 이미지의 주요 물체가 정서 톤의 강력한 예측자임을 확인하였다.
• 배경 의미 특징은 동일한 물체가 존재하는 경우에도 정서의 미묘한 차이를 구분하는 데 기여하여 예측 정확도를 향상시켰다.
• 모델은 고각성도 및 저각성도, 고조절성 및 저조절성 영역 모두에서 일관된 성능을 보여, 강건성을 입증하였다.
• 조절성-각성도 애너테이션을 포함한 새로 수집한 데이터셋은 향후 정서 컴퓨팅 연구의 유의미한 기준이 될 것으로 기대된다.