[論文レビュー] Attention-Augmented End-to-End Multi-Task Learning for Emotion Prediction from Speech

Zixing Zhang, Bingwen Wu+1 more|arXiv (Cornell University)|Mar 29, 2019

Emotion and Mood Recognition参考文献 25被引用数 8

ひとこと要約

本論文は、アーザル、バレンス、ドミナンスの3つの次元を同時に学習する自己注意機構を統合したエンドツーエンドのマルチタスク学習フレームワークを提案する。補助タスクと注意メカニズムを統合することで、表現のロバスト性とタスク固有の特徴重み付けが向上し、IEMOCAPデータセットにおいてベースラインと比較して顕著な性能向上を達成した。特にバレンスおよびドミナンス予測において顕著な改善が見られた。

ABSTRACT

Despite the increasing research interest in end-to-end learning systems for speech emotion recognition, conventional systems either suffer from the overfitting due in part to the limited training data, or do not explicitly consider the different contributions of automatically learnt representations for a specific task. In this contribution, we propose a novel end-to-end framework which is enhanced by learning other auxiliary tasks and an attention mechanism. That is, we jointly train an end-to-end network with several different but related emotion prediction tasks, i.e., arousal, valence, and dominance predictions, to extract more robust representations shared among various tasks than traditional systems with the hope that it is able to relieve the overfitting problem. Meanwhile, an attention layer is implemented on top of the layers for each task, with the aim to capture the contribution distribution of different segment parts for each individual task. To evaluate the effectiveness of the proposed system, we conducted a set of experiments on the widely used database IEMOCAP. The empirical results show that the proposed systems significantly outperform corresponding baseline systems.

研究の動機と目的

• 限られた学習データによるエンドツーエンド音声感情認識における過学習を緩和すること。
• マルチタスク学習により、アーザル、バレンス、ドミナンスの複数の感情次元を同時に学習することで、表現のロバスト性を向上させること。
• 自己注意メカニズムを統合することで、タスク固有の特徴の重要性を高め、関連する発話セグメントを動的に重み付けできるようにすること。
• マルチタスク学習と注意機構の組み合わせがエンドツーエンドフレームワークにおける音声感情予測に有効であるかを評価すること。

提案手法

• アーザル、バレンス、ドミナンスの3つの感情次元の共通表現を抽出するために、共有エンコーダ層を備えた深層ニューラルネットワークを採用する。
• 学習中に3つの感情予測ヘッドの損失関数を同時に最適化することで、マルチタスク学習を適用し、一般化性能を向上させる。
• 各タスク固有のヘッドの上に注意メカニズムを追加し、入力発話の時間的セグメントごとに動的な重要度重みを学習する。
• 手作業で特徴を抽出しないで、生の音声信号をエンドツーエンドで学習する。1次元畳み込みニューラルネットワーク（1D-CNN）とLSTMアーキテクチャを用いて時系列モデリングを実現する。
• 注意重みはスケーリングドット積注意メカニズムにより計算され、ネットワークが各感情タスクごとに顕著なセグメントに注目できるようにする。
• 主な評価指標としてUAR（未加重平均再現率）を用い、IEMOCAPデータセットを用いた実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 アーザル、バレンス、ドミナンスの複数の感情次元を同時に学習することで、エンドツーエンド音声感情認識における表現のロバスト性が向上し、過学習が軽減されるか？
• RQ2 注意メカニズムを統合することで、モデルがタスク固有の顕著な発話セグメントに注目できるようになり、性能が向上するか？
• RQ3 異なる感情予測タスク間で注意重みはどのように異なるか？また、それらは既知の音声的相関要因と一致するか？
• RQ4 提案されたエンドツーエンドのマルチタスク学習に注意機構を組み合わせた手法は、単一タスクのエンドツーエンドモデルや、手作業で特徴を抽出した伝統的なシステムを上回る性能を示すか？

主な発見

• 提案された注意機構を統合したエンドツーエンドマルチタスク学習システムは、アーザル予測で48.5%のUARを達成し、ベースラインのエンドツーエンドシステム（45.1% UAR）を有意に上回った（p値 < 0.05）。
• バレンス予測では63.8%のUARを達成し、ベースラインのエンドツーエンドモデル（60.9% UAR）を有意に上回った。
• マルチタスク学習と注意機構の組み合わせは、6つの評価ケースのうち5つで最高の性能を示し、相乗効果が確認された。
• 注意重みはタスクごとに有意義に異なる傾向を示した：アーザルは高振幅セグメントに注目し、バレンスは低振幅部分に注目し、ドミナンスは高エネルギー領域に注目した。これは、既知の音声的相関要因と整合的であった。
• 改善は見られたが、アーザル予測に関しては、手作業で特徴を抽出したシステムに比べて依然として性能が劣っていた。これは、古典的特徴が単純なアーザルパターンをより効果的に捉えている可能性を示唆している。