[논문 리뷰] Words Can Shift: Dynamically Adjusting Word Representations Using Nonverbal Behaviors

Yansen Wang, Ying Shen외 4명|arXiv (Cornell University)|2018. 11. 23.

Sentiment Analysis and Opinion Mining참고 문헌 34인용 수 44

한 줄 요약

RAVEN을 소개하는 논문으로, 미세한 비언어적 서브워드 시퀀스에 따라 단어 임베딩을 동적으로 이동시키며 CMU-MOSI 및 IEMOCAP에서 감정 및 정서 태스크에 대한 경쟁력 있는 성능을 달성한다.

ABSTRACT

Humans convey their intentions through the usage of both verbal and nonverbal behaviors during face-to-face communication. Speaker intentions often vary dynamically depending on different nonverbal contexts, such as vocal patterns and facial expressions. As a result, when modeling human language, it is essential to not only consider the literal meaning of the words but also the nonverbal contexts in which these words appear. To better model human language, we first model expressive nonverbal representations by analyzing the fine-grained visual and acoustic patterns that occur during word segments. In addition, we seek to capture the dynamic nature of nonverbal intents by shifting word representations based on the accompanying nonverbal behaviors. To this end, we propose the Recurrent Attended Variation Embedding Network (RAVEN) that models the fine-grained structure of nonverbal subword sequences and dynamically shifts word representations based on nonverbal cues. Our proposed model achieves competitive performance on two publicly available datasets for multimodal sentiment analysis and emotion recognition. We also visualize the shifted word representations in different nonverbal contexts and summarize common patterns regarding multimodal variations of word representations.

연구 동기 및 목표

• 멀티모달 언어에서 비언어적 맥락에 조건부로 동적인 단어 의미를 모델링할 필요성을 제시한다.
• 다중 모달-이동된 단어 표현을 생성하기 위한 서브워드 수준의 비언어적 모델링 프레임워크를 제안한다.
• word 임베딩과 시각적/음향 단서를 융합하는 end-to-end 아키텍처(RAVEN)를 개발하여 감정 및 정서 태스크에서 예측 성능을 향상시킨다.
• 학습된 이동된 단어 표현을 시각화하고 분석하여 멀티모달 변이 패턴을 이해한다.

제안 방법

• 모델은 모달리티별 LSTM으로 비언어적 서브워드 시퀀스를 구현하여 단어당 시각적 및 음향 임베딩을 생성한다.
• Gated Modality-mixing Network를 사용하여 시각적 임베딩과 음향 임베딩, 원래의 단어 임베딩으로부터 비언어적 시프트 벡터를 계산하고 모달별 게이트 w_v 와 w_a 를 적용한다.
• V-embedding과 A-embedding의 게이트된 융합과 바이어스를 통해 단어 의미가 맥락에서 어떻게 이동하는지 캡처하는 비언어적 시프트 h_m을 계산한다.
• e_m = e + alpha h_m으로 다중모달 시프트된 단어 표현을 생성하며, alpha는 시프트의 크기를 원래 임베딩과의 크기가 비슷하도록 조절한다.
• shifted 단어 표현의 시퀀스를 단어 수준 LSTM으로 인코딩하여 하류 태스크를 위한 발화 수준의 멀티모달 표현을 생성한다.
• 전체 아키텍처를 멀티모달 감정(CMU-MOSI) 및 정서 인식(IEMOCAP) 데이터셋에서 그래디언트 기반 최적화로 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 단어 표현이 서브워드 수준의 동반 비언어적 신호에 의해 어떻게 동적으로 이동될 수 있는가?
• RQ2 비언어적 서브워드 패턴과 동적 시프트가 텍스트 단독 또는 조잡한 융합 방법에 비해 멀티모달 감정 분석 및 정서 인식의 성능을 향상시키는가?
• RQ3 다양한 비언어적 맥락에서 시프트된 단어 표현의 특징적 패턴은 무엇인가?
• RQ4 서브워드 비언어 모델링과 동적 시프트가 최첨단 멀티모달 예측에 필요한가?

주요 결과

모델	MAE	상관계수	정확도-2
SVM	—	—	—
DF	1.143	0.518	—
BC-LSTM	1.079	0.581	73.9
MV-LSTM	1.019	0.601	73.9
MARN	0.968	0.625	77.1
MFN	0.965	0.632	77.4
RMFN	0.922	0.681	78.4
LMF	0.912	0.668	76.4
RAVEN	0.915	0.691	78.0

• RAVEN은 감정에 대해 CMU-MOSI에서 경쟁력 있는 결과를 보이며 MAE 0.915, Corr 0.691, Acc-2 78.0을 달성한다(다수의 기준선과 비교).
• IEMOCAP에서 RAVEN은 감정별로 높은 정확도와 F1을 보이며, 예를 들어 Happy Acc-2 87.3 및 F1 85.8; Sad Acc-2 83.4 및 F1 83.1; Angry Acc-2 87.3 및 F1 86.7; Neutral Acc-2 69.7 및 F1 69.3.
• 비언어 서브네트워크 또는 멀티모달 시프트를 제거한 ablation 연구는 성능을 저하시키며, 전체 RAVEN이 모든 ablated 변형보다 우수하다.
• 시프트된 임베딩의 시각화는 세 가지 해석 가능한 패턴을 보여준다: (1) 극성 단어가 대조 맥락에서 큰 시프트를 보임, (2) 극성화 가능한 명사는 맥락에 따라 뚜렷하게 시프트함, (3) 기능어는 최소한의 시프트를 보여주며 맥락에 의한 의미 변동 패턴을 의미한다.
• 서브워드 비언어 모델링과 동적 시프트가 초기 융합 baselines를 넘어서 멀티모달 예측을 향상시킨다.