[논문 리뷰] High-Level Concepts for Affective Understanding of Images

Afsheen Rafaqat Ali, Usman Shahid외 2명|arXiv (Cornell University)|2017. 05. 08.

Image Retrieval and Classification Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 사전 훈련된 CNN에서 추출한 고수준 개념(HLCs)—예를 들어 물체와 장소—를 활용하여 이미지에 대한 정서적 반응을 예측하는 하이브리드 모델을 제안한다. 이는 저수준 특징을 넘어서 정서적 이해를 향상시킨다. 클래스별 회귀기들을 통해 HLCs와 저수준 특징을 융합함으로써, 이론적 정서 분류(Emotion6에서 52% 정확도)와 차원적 정서 예측(VA 점수)에서 최고 성능을 달성하며, 명시적인 HLC-정서 연관성을 통해 해석 가능성도 제공한다.

ABSTRACT

This paper aims to bridge the affective gap between image content and the emotional response of the viewer it elicits by using High-Level Concepts (HLCs). In contrast to previous work that relied solely on low-level features or used convolutional neural network (CNN) as a black-box, we use HLCs generated by pretrained CNNs in an explicit way to investigate the relations/associations between these HLCs and a (small) set of Ekman's emotional classes. As a proof-of-concept, we first propose a linear admixture model for modeling these relations, and the resulting computational framework allows us to determine the associations between each emotion class and certain HLCs (objects and places). This linear model is further extended to a nonlinear model using support vector regression (SVR) that aims to predict the viewer's emotional response using both low-level image features and HLCs extracted from images. These class-specific regressors are then assembled into a regressor ensemble that provide a flexible and effective predictor for predicting viewer's emotional responses from images. Experimental results have demonstrated that our results are comparable to existing methods, with a clear view of the association between HLCs and emotional classes that is ostensibly missing in most existing work.

연구 동기 및 목표

• 고수준 개념과 정서 간의 명시적 연관성을 모델링하여 이미지 콘텐츠와 인간의 정서 반응 사이의 정서적 격차를 메우기.
• 흑상자 CNN 및 저수준 특징 중심 접근법의 한계를 극복하여 정서적 이미지 분석에서의 성능을 향상시키기.
• HLCs를 정서 분포에 매핑하는 투명하고 해석 가능한 프레임워크를 개발하여 정서 컴퓨팅에서의 설명 가능성 향상시키기.
• 저수준 이미지 특징과 HLCs를 융합하여 정서적 이미지 분류 및 밸런스-도전도(VA) 예측 성능을 향상시키기.
• 사람이 이해할 수 있고 의미적으로 풍부한 HLCs를 활용하여 정서적 이미지 검색 및 캡션 생성 등의 응용을 가능하게 하기.

제안 방법

• 사전 훈련된 CNN(예: ImageNet, Places205)를 사용하여 이미지에서 고수준 개념(HLCs)—물체, 장소, 풍경 등—을 추출한다.
• 선형 혼합 모델을 최초로 제안하여 HLCs와 에크먼의 여섯 가지 정서 유형(분노, 혐오, 두려움, 기쁨, 슬픔, 놀람) 간의 관계를 명시적으로 모델링하며, 중립을 기준으로 한다.
• 정서 확률 및 밸런스-도전도(VA) 점수를 예측하기 위해 서포트 벡터 회귀(SVR)를 사용한 비선형 프레임워크로 선형 모델을 확장한다.
• 저수준 특징(LLFs)과 HLCs의 조합에 대해 클래스별 회귀기를 훈련한 후, 융합된 하이브리드 회귀기 앙상블을 구성하여 유연하고 강력한 예측을 수행한다.
• HLC 검출과 정서 예측을 분리함으로써, HLCs가 이미지 캡션과 같은 다른 입력원에서 유래할 수 있도록 한다.
• 평균 진짜 양성률 및 VA 예측에 대한 절대 평균 차이(AAD)와 같은 지표를 사용하여 Emotion6 및 Artphoto 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 물체와 장소와 같은 고수준 개념(HLCs)을 사용하여 인간의 이미지에 대한 정서적 반응을 명시적으로 모델링하고 예측할 수 있는가?
• RQ2 HLCs가 이산 정서 유형과 차원적 정서(밸런스-도전도)를 예측하는 데 저수준 이미지 특징보다 얼마나 우수한가?
• RQ3 HLCs와 저수준 특징을 융합한 하이브리드 모델이 정서적 이미지 이해 분야에서 기존 최고 수준의 방법을 능가할 수 있는가?
• RQ4 다양한 HLC 소스(예: ImageNet, Places205)가 정서 예측 성능에 기여하는 정도는 어떠한가?
• RQ5 흑상자 딥러닝 모델에 비해 HLCs의 사용이 정서적 이미지 분석의 해석 가능성과 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 하이브리드 모델은 Emotion6 데이터셋에서 주된 정서 유형 예측에 52%의 정확도를 달성하여 이 데이터셋에 보고된 이전 결과를 능가한다.
• 밸런스-도전도(VA) 예측에서 최고 성능을 기록하며, 밸런스 AAD는 1.2093, 도전도 AAD는 0.6802를 기록하여 저수준 특징 또는 CNN 전용으로 훈련된 모델보다 뛰어난 성능을 보인다.
• 저수준 특징(LLFs)과 Places205 HLCs를 융합한 하이브리드 모델은 밸런스 AAD가 1.2093으로 가장 낮고, 도전도 예측에서는 최고 성능을 기록한 베이스라인과 동등한 성능을 달성한다.
• HLCs의 사용은 특정 개념(예: '종묘'는 공포와 연관, '나비/꽃'은 기쁨과 연관)과 정서 유형 간에 명확하고 해석 가능한 연관성을 제공하며, 이는 흑상자 모델에서 자주 결여된 특징이다.
• HLC 검출 오류에 대해서도 모델이 강건하게 유지되며, 사전 훈련된 분류기가 완벽하지 않더라도 경쟁 가능한 성능을 유지를 한다.
• HLC 추출과 정서 예측을 분리함으로써, 이미지 캡션과 같은 다양한 소스에서 온 HLCs를 통합할 수 있어 훈련의 유연성과 확장성 향상이 가능하다.