[논문 리뷰] Multimodal Local-Global Ranking Fusion for Emotion Recognition

Paul Pu Liang, Amir Zadeh외 1명|arXiv (Cornell University)|2018. 08. 12.

Emotion and Mood Recognition참고 문헌 30인용 수 4

한 줄 요약

이 논문은 다중모달 정서 인식을 위한 새로운 접근법인 다중모달 국소-전역 순위 융합(Multimodal Local-Global Ranking Fusion, MLRF)을 제안한다. 이 방법은 비디오 세그먼트 간 정서 강도 변화의 상대적 순위를 고려하면서도 절대 정서 레이블을 직접 예측하는 방식을 결합한다. 국소 순위, 베이지안 추론을 통한 전역 순위, 그리고 직접-상대적 융합의 세 단계로 구성된 MLRF는 AVEC16 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 강력한 기준 모델 대비 정서성(Valence)에서 최대 0.0508, 자극성(Arousal)에서 0.032 향상된 CCC 점수를 기록하였다.

ABSTRACT

Emotion recognition is a core research area at the intersection of artificial intelligence and human communication analysis. It is a significant technical challenge since humans display their emotions through complex idiosyncratic combinations of the language, visual and acoustic modalities. In contrast to traditional multimodal fusion techniques, we approach emotion recognition from both direct person-independent and relative person-dependent perspectives. The direct person-independent perspective follows the conventional emotion recognition approach which directly infers absolute emotion labels from observed multimodal features. The relative person-dependent perspective approaches emotion recognition in a relative manner by comparing partial video segments to determine if there was an increase or decrease in emotional intensity. Our proposed model integrates these direct and relative prediction perspectives by dividing the emotion recognition task into three easier subtasks. The first subtask involves a multimodal local ranking of relative emotion intensities between two short segments of a video. The second subtask uses local rankings to infer global relative emotion ranks with a Bayesian ranking algorithm. The third subtask incorporates both direct predictions from observed multimodal behaviors and relative emotion ranks from local-global rankings for final emotion prediction. Our approach displays excellent performance on an audio-visual emotion recognition benchmark and improves over other algorithms for multimodal fusion.

연구 동기 및 목표

• 사람에 관계없이 적용 가능한(절대적) 정서 표현 패tern과 사람에 따라 달라지는(상대적) 정서 표현 패턴을 통합하여 다중모달 정서 인식의 과제를 해결하고자 한다.
• 비디오 세그먼트 간의 쌍별 비교를 통해 정서 강도 변화를 모델링하여 음성-시각 정서 인식 벤치마크에서 성능을 향상시키고자 한다.
• 절대 정서 레이블링보다 상대 순위 신호가 더 쉽게 학습될 수 있음을 고려하여, 복잡한 딥 아키텍처에 대한 의존도를 줄이고자 한다.
• 직접 예측과 상대 순위 추정을 융합할 경우, 각각을 별도로 사용하는 것보다 더 뛰어난 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 모델은 두 개의 짧은 랜덤으로 추출된 비디오 세그먼트를 비교하여 정서 강도가 증가했는지 감소했는지를 판단함으로써 다중모달 국소 순위를 수행한다.
• 국소 순위는 베이지안 기반 기량 평가 알고리즘을 사용하여 전체 비디오에 걸쳐 전역 상대 정서 순위를 추론한다.
• 직접 정서 예측은 기초 모델(예: EF-LSTM)을 통해 음성 및 시각 특징에서 유도되며, 상대 순위는 전역 순위 단계에서 유도된다.
• 후기 융합 기법을 통해 직접 예측과 상대 순위를 융합하여 최종 정서 강도 추정치를 도출한다.
• 국소 비교 쌍의 수(k)와 국소 세그먼트 추출을 위한 윈도우 크기(w)를 구성 가능하게 하며, 기본 설정은 w=200, k=500 또는 1000이다.
• 프레임워크는 엔드 투 엔드로 훈련되며, AVEC16 데이터셋에서 정서성 및 자극성 회귀에 대해 공명상관계수(Concordance Correlation Coefficient, CCC)를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 짧은 비디오 세그먼트 간의 상대 정서 강도 비교가 다중모달 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 직접 절대 정서 예측과 상대 순위 신호를 융합할 경우, 각각을 별도로 사용하는 것보다 성능이 향상되는가?
• RQ3 국소 비교 쌍의 수와 윈도우 크기가 전역 순위 품질과 최종 정서 인식에 미치는 영향은 어떠한가?
• RQ4 랭킹 기반 지도 신호를 활용하는 단순한 모델이 Gated-LSTM이나 MV-LSTM과 같은 더 복잡한 아키텍처를 능가할 수 있는가?

주요 결과

• MLRF-1000은 AVEC16 데이터셋에서 자극성에 대해 0.5049, 정서성에 대해 0.5432의 CCC를 기록하여 모든 기준 모델을 초월하였다.
• 최고의 기준 모델(MV-LSTM fully connected) 대비 자극성에서 0.032, 정서성에서 0.0508 향상되어 뚜렷한 성과 향상을 입증하였다.
• 국소 비교 쌍의 수를 500에서 1000으로 늘일 경우 성능 향상이 있었으며, 이는 더 많은 국소 순위 정보가 전역 순위 추정에 기여함을 시사한다.
• 더 큰 윈도우 크기(w=200)가 더 작은 크기(w=10, 50, 100)보다 유의미하게 뛰어난 성능을 보였으며, 이는 더 긴 시간적 맥락이 다중모달 역학을 포착하는 데 필수적임을 보여준다.
• 제거 실험 결과, 직접 예측과 상대 예측을 모두 융합하는 것이 핵심임을 확인하였다. 상대 예측만을 사용할 경우 성능이 열악했으며(CCC=0.0402, 정서성), 직접 예측만 사용했을 경우는 이미 우수하지만 최적은 아니었다.
• 복잡한 아키텍처 없이도 최신 기술 수준의 성능을 달성하였으며, 이는 상대 순위 신호가 다중모달 학습에 매우 효과적이고 효율적일 수 있음을 입증한다.