[論文レビュー] Advanced LSTM: A Study about Better Time Dependency Modeling in Emotion Recognition

Fei Tao, Gang Liu|arXiv (Cornell University)|Oct 27, 2017

Emotion and Mood Recognition参考文献 20被引用数 8

ひとこと要約

本稿では、現在の隠れ状態が直前の時刻にのみ依存するのではなく、複数の過去の時刻に依存することを許容することで、時間的依存性のモデリングを向上させる新しいRNNアーキテクチャであるAdvanced LSTM (A-LSTM)を提案する。感情認識に用いられる重み付きプーリングRNNフレームワークに統合した場合、従来のLSTMに比べてマクロFスコアで5.5%の相対的改善を達成し、最小限のパラメータオーバーヘッドで、時間的変動する感情の動的変化を優れたモデル化を実現した。

ABSTRACT

Long short-term memory (LSTM) is normally used in recurrent neural network (RNN) as basic recurrent unit. However,conventional LSTM assumes that the state at current time step depends on previous time step. This assumption constraints the time dependency modeling capability. In this study, we propose a new variation of LSTM, advanced LSTM (A-LSTM), for better temporal context modeling. We employ A-LSTM in weighted pooling RNN for emotion recognition. The A-LSTM outperforms the conventional LSTM by 5.5% relatively. The A-LSTM based weighted pooling RNN can also complement the state-of-the-art emotion classification framework. This shows the advantage of A-LSTM.

研究の動機と目的

• 従来のLSTMが現在の状態が直前の時刻にのみ依存すると仮定しているという制限を是正し、時間的文脈のモデリングを制限している点を是正すること。
• 長距離および非即時の感情状態をよりよく捉えることで、音声ベースのAIにおける感情認識を向上させること。
• 現在の隠れ状態が複数の過去の時刻に依存することを許容することで、順序系列表現学習が向上するかを検証すること。
• 実際の音声データ（沈黙や非発話セグメントを含む）を想定した、実用的でデータ駆動型のフレームワークにおいてA-LSTMの性能を評価すること。
• A-LSTMが最先端のDNNベースの感情認識システムと補完的であるかどうかを評価すること。

提案手法

• A-LSTMは、標準LSTMセルを変更し、現在の隠れ状態が直前の時刻に限らず、複数の過去の時刻の隠れ状態の重み付き組み合わせに依存するようにする。
• 組み合わせに用いる時刻は、過学習や学習の不安定化を避けるために、事前に定義された集合 T = {5, 3, 1} から、ステップサイズ2で選択される。
• 過去状態を組み合わせるための重みは、微分可能で学習可能なアテンションメカニズムによって決定され、入力パターンに適応した集約が可能になる。
• A-LSTMは、最終的な発話表現が時間軸にわたる隠れ状態の重み付き和である、マルチタスク学習を組み合わせた重み付きプーリングRNNフレームワークに統合される。
• 16kHzの音声から10ms間隔で抽出されたz正規化された36次元の音声特徴（MFCC、ZCR、エネルギー、スペクトル特徴、クロマ、ピッチ）が使用される。
• 学習にはAdam最適化法を用い、バッチサイズ32、ドロップアウト率0.5とし、IEMOCAPデータセット上でマクロFスコア（MAF）、マクロ精度（MAP）、および正解率を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 現在の状態が直前の時刻にのみ依存すると仮定するという制約を緩和することで、RNNにおける感情認識の時間的モデリングが向上するか？
• RQ2 現在の隠れ状態が複数の過去の時刻に注目できるようにすることで、順序系列感情分類の性能が向上するか？
• RQ3 IEMOCAPデータセット上で、重み付きプーリングRNNフレームワークにおけるA-LSTMと従来のLSTMの性能はどのように比較されるか？
• RQ4 A-LSTMベースのRNNは、低データ量または実世界のシナリオにおいて、最先端のDNNフレームワークと補完的であるか？
• RQ5 A-LSTMによる性能向上は、時間的文脈モデリングの向上によるものか、それともプーリング層でより多くの時刻を観測できるからであるか？

主な発見

• A-LSTMは従来のLSTMに比べてマクロFスコア（MAF）で5.5%の相対的改善を達成し、MAFは43.8%から46.2%に上昇した。
• この改善は、A-LSTMの時間的依存性モデリング能力の向上に起因するものであり、受容 field の拡大によるものではない。なぜなら、既に重み付きプーリング層がすべての時刻にアクセス可能であるからである。
• 過去状態を組み合わせるための学習可能なアテンション重みの使用は、固定重み平均（例：mean LSTM）をはるかに上回り、適応性の重要性を示している。
• DNNベースライン（約5800万パラメータ）と同等のパラメータ数（約5800万）を有するが、RNNフレームワークは競争力のある性能を示し、DNNと融合することで正解率を58.7%まで向上させた。
• RNNフレームワークにおけるA-LSTMの性能はDNNベースライン（MAF 56.9% 対 46.2%）を下回ったが、これはIEMOCAPデータセットの訓練データが限られ、発話が明確にセグメンテーションされていることに起因し、モデル自体の弱さによるものではない。
• RNNとDNNフレームワークの融合により、最高の性能（MAF 58.2%）が達成され、A-LSTMベースのRNNが実用応用においてDNNと効果的に補完可能であることを示した。