[論文レビュー] Multi-Channel Auto-Encoder for Speech Emotion Recognition

Zefang Zong, Hao Li+1 more|arXiv (Cornell University)|Oct 25, 2018

Emotion and Mood Recognition参考文献 18被引用数 5

ひとこと要約

本稿では、複数の局所的深層ニューラルネットワーク（DNN）を用い、それぞれが異なる低レベル音声記述子（LLD）で学習され、スタックドノイズ除去オートエンコーダー（SDAE）で初期化されたマルチチャネルオートエンコーダー（MTC-AE）を提案する。各DNNのボトルネック特徴量を連結してグローバル分類器に供給する。この手法は、IEMOCAPデータセットにおける1人を除いた話者に対する未加重正答率64.8%を達成し、先行する最先端手法を2.4ポイント上回った。

ABSTRACT

Inferring emotion status from users' queries plays an important role to enhance the capacity in voice dialogues applications. Even though several related works obtained satisfactory results, the performance can still be further improved. In this paper, we proposed a novel framework named multi-channel auto-encoder (MTC-AE) on emotion recognition from acoustic information. MTC-AE contains multiple local DNNs based on different low-level descriptors with different statistics functions that are partly concatenated together, by which the structure is enabled to consider both local and global features simultaneously. Experiment based on a benchmark dataset IEMOCAP shows that our method significantly outperforms the existing state-of-the-art results, achieving $64.8\%$ leave-one-speaker-out unweighted accuracy, which is $2.4\%$ higher than the best result on this dataset.

研究の動機と目的

• 低レベル記述子（LLD）の直接連結による高次元入力と過学習の問題を解消すること。
• 個々のLLDの独立した識別能力を保ちつつ、共有のグローバル分類器による特徴統合を可能にすること。
• スタックドノイズ除去オートエンコーダー（SDAE）を用いた教師なし事前学習により、一般化性能と表現品質を向上させること。
• 統一された目的関数に基づく局所およびグローバル分類器の共同学習により、ベンチマークデータセットで優れた性能を達成すること。
• マルチチャネルオートエンコーディングによる構造的特徴統合が、従来の連結法や高レベル統計と比較して、よりロバストで識別性の高い表現を生み出すことを示すこと。

提案手法

• 38個の局所的DNNを採用し、それぞれが異なる低レベル音声記述子（LLD）で学習され、特徴の独立性を保持する。
• 各局所的DNNは、入力を不完全に欠損させた（20%ノイズマスク）状態で再構築するスタックドノイズ除去オートエンコーダー（SDAE）を用いて事前学習され、ロバスト性と一般化性能が向上する。
• 各局所的DNNのボトルネック特徴量が抽出され、グローバル分類器用の高次元でコン act な表現として連結される。
• 局所的分類器とグローバル分類器が同一の目的関数に基づいて共同で学習され、局所的学習とグローバル学習の整合性が保証される。
• 最終的な予測は、すべての局所的分類器とグローバル分類器の出力を統合することで得られ、全体の識別力が向上する。
• 最適化にはAdamを用い、学習率0.0003、バッチサイズ64、検証セットの性能に基づく早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴の独立性を保ちつつ、共同学習を可能にするマルチチャネルオートエンコーダーのアーキテクチャが、音声感情認識の性能向上に寄与するか？
• RQ2 局所的DNNをスタックドノイズ除去オートエンコーダー（SDAE）で事前学習することで、データが少ない状況下でも一般化性能が向上し、過学習が軽減されるか？
• RQ3 複数の特化した局所ネットワークからのボトルネック特徴量の連結は、原始的なLLDの直接連結と比較して、分類精度にどのように影響するか？
• RQ4 局所的分類器とグローバル分類器を統合的に学習することで、逐次的または独立した学習と比較して、性能がどの程度向上するか？
• RQ5 提案されたMTC-AEフレームワークは、1人を除いた話者に対する評価において、IEMOCAPベンチマークデータセットで最先端の結果を達成できるか？

主な発見

• MTC-AEフレームワークは、IEMOCAPデータセットにおける1人を除いた話者に対する未加重正答率64.8%を達成し、先行SOTAを2.4ポイント上回った。
• SDAE事前学習を実施しないバージョン（MTC-DNN）でさえも、先行手法を上回る62.7%の正答率を達成し、構造的特徴統合の有効性を示した。
• SDAEによる事前学習が性能向上に顕著に寄与した。ノイズ耐性の高い初期化が、モデルの収束性と一般化性能を向上させたことが示された。
• 複数の局所的DNNからのボトルネック特徴量の使用は、LLDの直接連結よりも優れた表現学習を可能にした。過学習が軽減され、識別性が向上した。
• 統一された目的関数に基づく局所的およびグローバル分類器の共同学習は、独立した学習と比較して、より一貫性があり効果的な特徴学習を実現した。
• 本手法は、高次元入力と限られた訓練データに起因する過学習を効果的に軽減でき、特に話者依存の設定において顕著な効果を示した。