[논문 리뷰] A Circular-Structured Representation for Visual Emotion Distribution Learning

Jingyuan Yang, Jie Li외 3명|arXiv (Cornell University)|2021. 06. 23.

Sentiment Analysis and Opinion Mining참고 문헌 46인용 수 4

한 줄 요약

이 논문은 정성적 감정 관계를 반영하는 원형 구조의 표현 방식을 제안하며, 감정의 극성, 유형, 강도를 정의한 감정 원(circle) 상에서 감정을 벡터로 모델링하고, 군집에서 세분화되는 방식으로 예측을 개선하는 Progressive Circular (PC) 손실을 도입한다. 이 방법은 인간 감정의 모호성과 주관성을 고려하여 심리학적 사전 지식을 효과적으로 활용함으로써, 세 가지 공개 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Visual Emotion Analysis (VEA) has attracted increasing attention recently with the prevalence of sharing images on social networks. Since human emotions are ambiguous and subjective, it is more reasonable to address VEA in a label distribution learning (LDL) paradigm rather than a single-label classification task. Different from other LDL tasks, there exist intrinsic relationships between emotions and unique characteristics within them, as demonstrated in psychological theories. Inspired by this, we propose a well-grounded circular-structured representation to utilize the prior knowledge for visual emotion distribution learning. To be specific, we first construct an Emotion Circle to unify any emotional state within it. On the proposed Emotion Circle, each emotion distribution is represented with an emotion vector, which is defined with three attributes (i.e., emotion polarity, emotion type, emotion intensity) as well as two properties (i.e., similarity, additivity). Besides, we design a novel Progressive Circular (PC) loss to penalize the dissimilarities between predicted emotion vector and labeled one in a coarse-to-fine manner, which further boosts the learning process in an emotion-specific way. Extensive experiments and comparisons are conducted on public visual emotion distribution datasets, and the results demonstrate that the proposed method outperforms the state-of-the-art methods.

연구 동기 및 목표

• 시각적 감정 분석(VEA)에서 단일 레이블 분류의 한계를 해결하기 위해 인간 감정의 모호성과 주관성을 간소화하지 않도록 하기 위해.
• 심리학적 이론인 Mikel의 휠을 기반으로 감정의 극성, 유형, 강도와 같은 내재된 감정 관계를 모델링하기 위해.
• 기본 감정과 복합 감정을 원형으로 통합하는 새로운 표현 방식을 개발하여 더 정확한 분포 학습을 가능하게 하기 위해.
• 극성, 유형, 강도 제약 조건을 단계적으로 적용하는 점진적 원형(PC) 손실을 설계하여 예측의 정밀도를 향상시키기 위해.
• 표준 시각적 감정 분포 데이터셋에서 최신 기술보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 심리학적 모델을 기반으로 여덟 가지 기본 감정을 균일하게 분포시킨 단위 벡터로 구성된 감정 원을 구축한다.
• 기본 감정 벡터의 가중 조합을 통해 임의의 감정 분포를 복합 감정 벡터로 표현하며, 극성, 유형, 강도 등의 속성을 포함한다.
• 감정 관계를 유지하기 위해 두 가지 핵심 성질인 유사성(원 상의 각도적 근접성)과 가환성(벡터 합 일致성)을 정의한다.
• 세 가지 제약 조건인 극성 손실, 유형 손실, 강도 손실을 순차적으로 적용하여 예측 개선을 이끄는 점진적 원형(PC) 손실을 제안한다.
• PC 손실을 표준 Kullback-Leibler(KL) 발산 손실과 조합하며, 감정 특화 및 일반 분포 학습 간 균형을 맞추기 위해 하이퍼파rameter μ=0.7을 사용한다.
• 감정 벡터 예측을 위해 다중 헤드 네트워크 헤드를 사용하고, 학습 중에 PC 손실을 적용하여 구조적 및 의미적 일致성을 강제한다.

실험 결과

연구 질문

• RQ1 극성, 유형, 강도와 같은 내재된 감정 관계는 시각적 감정 분포 학습에서 효과적으로 모델링될 수 있는가?
• RQ2 심리학적으로 타당한 방식으로 원형 구조를 활용해 기본 감정과 복합 감정 상태를 통합할 수 있는가?
• RQ3 극성, 유형, 강도 제약 조건을 단계적으로 적용하는 점진적 원형 손실 함수는 기존 손실 함수에 비해 예측 정확도를 향상시키는가?
• RQ4 심리학적 사전 지식(예: Mikel의 휠)의 통합은 시각적 감정 분포 학습 성능을 향상시키는가?
• RQ5 제안된 PC 손실과 표준 KL 발산 손실 간의 최적의 균형 비율은 무엇인가?

주요 결과

• 제안된 방법은 Flickr_LDL, Twitter_LDL, AffectNet-Emotion의 세 가지 공개 데이터셋에서 최신 기술을 일관되게 능가하는 성능 향상을 달성한다.
• 점진적 원형(PC) 손실은 극성, 유형, 강도의 세 가지 제약 조건을 모두 적용했을 때 성능 향상이著명하며, 각 제약 조건이 독립적이고 점진적으로 기여한다.
• 제거 실험 결과, PC 손실의 각 구성 요소가 불가결하다는 것이 확인되었으며, 어떤 제약 조건이라도 제거하면 성능 저하가 발생한다.
• 최적의 하이퍼파rameter μ=0.7은 PC 손실과 KL 손실 간의 균형을 잘 맞추며, μ가 너무 높거나 너무 낮을 경우 성능 저하가 발생한다.
• 시각화 결과는 모델이 단순한 감정 분포뿐 아니라 복잡한 감정 분포도 정확히 복원함을 보이며, 특히 극성과 강도를 잘 유지함을 확인할 수 있다.
• PC 손실을 포함할수록 Top-1 정확도가 향상되어 분포 내 주요 감정을 더 잘 예측함을 시사한다.