[論文レビュー] Domain adversarial learning for emotion recognition

Zheng Lian, Jianhua Tao+2 more|arXiv (Cornell University)|Oct 24, 2019

Emotion and Mood Recognition参考文献 16被引用数 6

ひとこと要約

本論文は、勾配反転を用いて話者IDの情報を最小化することで、話者に依存しない感情認識を学習するドメイン adversarial ニューラルネットワーク（DANN）ベースのフレームワークを提案する。この手法は、IEMOCAPデータセットにおいて、最先端の手法よりも3.48%の絶対的向上を達成し、ラベルなしデータを用いた半教師あり学習により、未学習の話者への一般化性能が優れていることを示している。

ABSTRACT

In practical applications for emotion recognition, users do not always exist in the training corpus. The mismatch between training speakers and testing speakers affects the performance of the trained model. To deal with this problem, we need our model to focus on emotion-related information, while ignoring the difference between speaker identities. In this paper, we look into the use of the domain adversarial neural network (DANN) to extract a common representation between different speakers. The primary task is to predict emotion labels. The secondary task is to learn a common representation where speaker identities can not be distinguished. By using the gradient reversal layer, the gradients coming from the secondary task are used to bring the representations for different speakers closer. To verify the effectiveness of the proposed method, we conduct experiments on the IEMOCAP database. Experimental results demonstrate that the proposed framework shows an absolute improvement of 3.48% over state-of-the-art strategies.

研究の動機と目的

• 訓練時とテスト時の話者に不一致が生じることによる感情認識性能の低下を是正すること。
• 話者固有の特徴を排除しながら、感情関連の特徴に焦点を当てた話者に依存しない表現を学習すること。
• 限られたアノテート済みデータにおいて、ラベルなしデータを半教師あり的に活用してモデルの一般化性能を向上させること。
• リソースが限られたデータセットにおける話者間感情認識で、既存の最先端手法を上回ること。
• マルチモーダル感情認識におけるドメイン adversarial 学習の有効性を検証すること。

提案手法

• 音声とテキスト特徴をアテンションメカニズム（AT-Fusion）で統合し、モダリティ重み付き表現を生成するマルチモーダルフレームワークを採用する。
• 会話シーケンス内の長距離の文脈的依存関係を捉えるために、自己アテンション付き勾配勾配リカレントユニット（SA-GRU）を用いる。
• 話者IDを予測するドメイン分類器を adversarial に訓練するため、勾配反転層を導入し、特徴エンコーダーがドメイン不変の表現を学習するように強制する。
• ラベル付き感情データ（主タスク）とラベルなしデータ（補助タスク）を同時に学習することで、モデルのロバスト性と一般化性能を向上させる。
• ソース（訓練）ドメインとターゲット（テスト）ドメイン間の分布シフトを最小化するために、ドメイン adversarial 学習を適用する。
• 二重スティームアーキテクチャを採用：一方は感情分類、もう一方は話者ドメイン分類を担当し、バックプロパゲーション時に勾配を反転させてドメイン間で表現を整合させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン adversarial 学習は、感情認識モデルにおける話者IDバイアスを効果的に低減できるか？
• RQ2 提案手法は、話者依存型または標準的な教師ありベースラインと比較して、未学習の話者に対して性能を向上させられるか？
• RQ3 ラベルなしデータは、リソースが限られた感情認識設定において、どの程度モデルの一般化性能を向上させられるか？
• RQ4 精度とロバスト性の観点から、提案されたDANNベースのフレームワークは、最先端手法と比べてどのように差をつけるか？
• RQ5 モデルは、話者固有の情報を抑制しつつ、感情を識別する特徴を維持できるか？

主な発見

• 提案手法は、IEMOCAPデータセットで重み付き正解率（WA）82.68%を達成し、以前の最先端手法よりも3.48%の絶対的向上を示した。
• すべての5つの学習設定において、ベースラインC1を上回ったが、特に訓練データが減少した際の差が顕著で、リソースが限られた条件下での優れた一般化性能を示した。
• 訓練データを減らした際の性能向上が観察されたことから、モデルがラベルなしデータを効果的に活用して過学習やデータ不足の影響を軽減できることを示した。
• 限られたラベル付きデータでも高い性能を維持できたことから、感情認識における半教師ありドメイン adversarial 学習の有効性が裏付けられた。
• 勾配反転機構により、学習された表現における話者ID情報が効果的に低減され、未学習の話者への一般化が向上した。
• 文脈に基づくおよび文脈なしのモデルと比較して、フレームワークは一貫して優れた性能を示し、マルチモーダル感情認識における adversarial ドメイン整合の利点を強力に示した。