[論文レビュー] Words Can Shift: Dynamically Adjusting Word Representations Using Nonverbal Behaviors

Yansen Wang, Ying Shen+4 more|arXiv (Cornell University)|Nov 23, 2018

Sentiment Analysis and Opinion Mining参考文献 34被引用数 44

ひとこと要約

RAVENを紹介する。これは微細な非言語的サブワード列に基づいて単語埋め込みを動的にシフトさせるモデルで、感情分析と感情タスクでCMU-MOSIとIEMOCAPにおいて競争力のある結果を達成する。

ABSTRACT

Humans convey their intentions through the usage of both verbal and nonverbal behaviors during face-to-face communication. Speaker intentions often vary dynamically depending on different nonverbal contexts, such as vocal patterns and facial expressions. As a result, when modeling human language, it is essential to not only consider the literal meaning of the words but also the nonverbal contexts in which these words appear. To better model human language, we first model expressive nonverbal representations by analyzing the fine-grained visual and acoustic patterns that occur during word segments. In addition, we seek to capture the dynamic nature of nonverbal intents by shifting word representations based on the accompanying nonverbal behaviors. To this end, we propose the Recurrent Attended Variation Embedding Network (RAVEN) that models the fine-grained structure of nonverbal subword sequences and dynamically shifts word representations based on nonverbal cues. Our proposed model achieves competitive performance on two publicly available datasets for multimodal sentiment analysis and emotion recognition. We also visualize the shifted word representations in different nonverbal contexts and summarize common patterns regarding multimodal variations of word representations.

研究の動機と目的

• マルチモーダル言語において、非言語的文脈に条件付けられた動的な語義をモデル化する必要性を動機づける。
• サブワードレベルの非言語モデリングフレームワークを提案し、マルチモーダルにシフトした単語表現を生成する。
• 視覚的および音響的手掛かりを語彙埋め込みと融合させ、感情分析と感情タスクの予測性能を向上させるエンドツーエンドアーキテクチャ（RAVEN）を開発する。
• 学習したシフトされた語彙表現を可視化・分析し、マルチモーダルな変動パターンを理解する。

提案手法

• モダリティ特有のLSTMを用いて非言語的サブワード列をモデル化し、語ごとに視覚埋め込みと音響埋め込みを生成する。
• 視覚埋め込みと音響埋め込み、および元の語彙埋め込みから非言語的シフトベクトルを計算する、ゲート付きモダリティ混合ネットワークを用い、モダリティ特有のゲート w_v と w_a を用いる。
• 語義が文脈でどのように変化するかを捉えるため、V-embeddingとA-embeddingのゲート付き融合とバイアスにより非言語シフト h_m を計算する。
• e_m = e + alpha h_m としてマルチモーダルにシフトした語彙表現を生成する。ここで alpha はシフトの大きさを元の埋め込みと比較可能な値にスケールする。
• シフト後の語彙表現列を単語レベルのLSTMでエンコードし、下流タスクのための発話レベルのマルチモーダル表現を生成する。
• 勾配ベースの最適化で、マルチモーダル感情分析（CMU-MOSI）と感情認識（IEMOCAP）のデータセット上で全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 語彙表現を、補助的な非言語キューがサブワード粒度で動的にシフトさせることはどう実現できるか？
• RQ2 非言語サブワードパターンと動的シフトは、テキストのみや粗いフュージョン手法と比べて、マルチモーダル感情分析と感情認識の性能を改善するか？
• RQ3 異なる非言語コンテキストにおけるシフト後語彙表現の特徴的なパターンは何か？
• RQ4 最先端のマルチモーダル予測には、サブワード非言語モデリングと動的シフトが必要か？

主な発見

Model	MAE	Corr	Acc-2
SVM	—	—	—
DF	1.143	0.518	—
BC-LSTM	1.079	0.581	73.9
MV-LSTM	1.019	0.601	73.9
MARN	0.968	0.625	77.1
MFN	0.965	0.632	77.4
RMFN	0.922	0.681	78.4
LMF	0.912	0.668	76.4
RAVEN	0.915	0.691	78.0

• RAVENは感情分析のCMU-MOSIで競争力のある結果を達成（MAE 0.915、 Corr 0.691、 Acc-2 78.0）し、いくつかのベースラインと比較して優位。
• IEMOCAPでは、感情ごとに高い正解率とF1を示す。例: Happy Acc-2 87.3、F1 85.8; Sad Acc-2 83.4、F1 83.1; Angry Acc-2 87.3、F1 86.7; Neutral Acc-2 69.7、F1 69.3。
• アブレーション研究は、Nonverbal Sub-networksあるいはMultimodal Shiftingを除去すると性能が低下することを示し、完全なRAVENが全てのアブレーション variantを上回る。
• シフトされた埋め込みの可視化は、3つの解釈可能なパターンを示す： (1) 極性を含む語は反対の文脈で大きくシフトする、(2) 極性を帯びやすい名詞は文脈により明確にシフトする、 (3) 助詞・機能語は最小限のシフトにとどまり、意味ある文脈駆動の変動パターンを示す。
• 結果は、サブワード非言語モデリングと動的語彙シフトが、初期フュージョンを超えるマルチモーダル予測の改善を支持する。