[논문 리뷰] Multimodal Affective Analysis Using Hierarchical Attention Strategy with Word-Level Alignment

Yue Gu, Kangning Yang외 4명|arXiv (Cornell University)|2018. 05. 22.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 10

한 줄 요약

이 논문은 감정 및 정서 분류 성능을 햖थ기 위해 텍스트와 오디오를 단어 수준에서 정렬하는 계층적 다모态 어텐션 네트워크를 제안한다. 모ality별 특징과 어텐션 가중치를 수평, 수직 및 피팅 조정 전략을 통해 융합함으로써, MOSI, IEMOCAP, YouTube 및 EmotiW 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 두 모ality에 대한 해석 가능한 어텐션 시각화를 가능하게 한다.

ABSTRACT

Multimodal affective computing, learning to recognize and interpret human affects and subjective information from multiple data sources, is still challenging because: (i) it is hard to extract informative features to represent human affects from heterogeneous inputs; (ii) current fusion strategies only fuse different modalities at abstract level, ignoring time-dependent interactions between modalities. Addressing such issues, we introduce a hierarchical multimodal architecture with attention and word-level fusion to classify utter-ance-level sentiment and emotion from text and audio data. Our introduced model outperforms the state-of-the-art approaches on published datasets and we demonstrated that our model is able to visualize and interpret the synchronized attention over modalities.

연구 동기 및 목표

• 시간적 비일치 문제를 겪는 이질적인 텍스트 및 오디오 모달리티를 다모달 정서 계산에서 융합하는 과제를 해결하기 위해.
• 기존 융합 방법이 추상적 또는 발화 수준의 표현에서만 작동하여 시간에 따라 변화하는 상호작용를 忽略하는 한계를 극복하기 위해.
• 언어적 내용과 음성적 표현 간의 단어 수준 동기화를 가능하게 하여 더 정확한 감정 및 정서 인식을 실현하기 위해.
• 모달리티별 및 융합된 표현에 대한 어텐션 가중치의 시각화를 통해 가시성 있는 설명을 제공하기 위해.
• 다양한 품질과 레이블링 체계를 가진 다양한 다모달 데이터셋에 대해 일반화 성능을 입증하기 위해.

제안 방법

• 모델은 텍스트 및 오디오 입력에서 고수준 특징을 추출하기 위해 양방향 게이팅 순환 단위(GRUs)를 사용한다.
• 단어 수준의 강제 정렬을 적용하여 언어적 내용과 해당 음성 프레임 간의 동기화를 수행한다.
• 다중 수준 어텐션 메커니즘이 텍스트 단어, 오디오 프레임, 정렬된 단어 수준 표현에 대한 어텐션 가중치를 계산한다.
• 특징과 어텐션을 단어 수준에서 융합하기 위해 수평, 수직 및 피팅 조정 어텐션 융합 전략을 제안한다.
• 융합된 표현에서 발화 수준의 감정 및 정서를 분류하기 위해 CNN 기반 분류기를 사용한다.
• 모달리티별 및 공통 어텐션 가중치의 시각화를 가능하게 하여 설명 가능성과 함께 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 텍스트와 오디오 간의 단어 수준 정렬이 발화 수준 융합을 초월해 다모달 정서 분류 성능을 향상시키는가?
• RQ2 단어 수준에서 동기화된 상태에서 모달리티별 어텐션 메커니즘이 상호작용하는 방식은 어떠한가?
• RQ3 단어 수준에서의 공동 어텐션은 단모달 또는 후기 융합 접근법에 비해 성능 향상과 설명 가능성 측면에서 더 우수한가?
• RQ4 다양한 데이터 품질과 레이블 일관성 수준을 가진 데이터셋 간에 제안된 모델의 일반화 능력은 어떠한가?
• RQ5 어텐션 시각화가 개별 및 융합된 모달리티에 대한 모델의 의사결정 과정을 효과적으로 드러내는가?

주요 결과

• 제안된 모델은 MOSI, IEMOCAP, YouTube 및 EmotiW 등 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• MOSI에서 모델은 78.5% 정확도와 0.721 F1 스코어를 기록하여 이전 최고 성능 모델들을 능가한다.
• IEMOCAP에서 모델은 74.2% 정확도와 0.712 F1 스코어를 달성하여, 오디오 전용이 텍스트 전용보다 우수한 상황에서도 뛰어난 성능을 보였다.
• 일반화 결과로 MOSI에서 훈련한 모델이 YouTube에서 66.2% 정확도와 0.665 F1 스코어를 기록했으며, IEMOCAP에서 훈련한 모델이 EmotiW에서 61.4% 정확도를 기록하여 도메인 간 전이 가능성(transferability)을 입증했다.
• 어텐션 시각화 결과 공통 및 정밀 조정된 어텐션 메커니즘이 감정적으로 중요한 단어와 음성적 신호를 성공적으로 식별함을 확인했다. 예를 들어, 분노를 나타내는 'hell'이나 행복을 나타내는 'you’re'와 같은 표현에 텍스트적 강조와 음성적 강조를 동시에 반영하였다.