[論文レビュー] Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study

Siddique Latif, Rajib Rana+2 more|arXiv (Cornell University)|Dec 22, 2017

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、感情分類のための音声信号の分離可能で低次元の潜在表現を学習するために、変分オートエンコーダー（VAEs）および条件付きVAEs（CVAEs）を提案する。IEMOCAPデータセットにおいて最先端の性能を達成した。VAEで学習した特徴量とLSTM分類器を組み合わせることで、自己符号化器ベースの手法や従来の深層学習手法を上回り、特に次元的（次元）感情予測において顕著な優位性を示した。

ABSTRACT

Learning the latent representation of data in unsupervised fashion is a very interesting process that provides relevant features for enhancing the performance of a classifier. For speech emotion recognition tasks, generating effective features is crucial. Currently, handcrafted features are mostly used for speech emotion recognition, however, features learned automatically using deep learning have shown strong success in many problems, especially in image processing. In particular, deep generative models such as Variational Autoencoders (VAEs) have gained enormous success for generating features for natural images. Inspired by this, we propose VAEs for deriving the latent representation of speech signals and use this representation to classify emotions. To the best of our knowledge, we are the first to propose VAEs for speech emotion classification. Evaluations on the IEMOCAP dataset demonstrate that features learned by VAEs can produce state-of-the-art results for speech emotion classification.

研究の動機と目的

• 深層生成モデル（VAEs）が、音声感情認識のための効果的で分離可能な潜在表現を学習できるかどうかを調査すること。
• 従来の自己符号化器（AEs）と比較して、VAEsおよびその条件付きバージョン（CVAE）が感情に敏感な特徴を学習する性能を評価すること。
• LSTM分類器と組み合わせたVAEで学習した特徴量の有効性を、カテゴリカルな感情分類および次元的（次元）感情分類の両方において評価すること。
• 分類精度を最大化するために最適な潜在次元数を特定すること。

提案手法

• 変分オートエンコーダー（VAE）を、生の音声スペクトログラム上でエンドツーエンドに訓練し、潜在コードの事後分布をガウス分布としてモデル化することで、確率的潜在表現を学習する。
• VAEは、深層ニューラルネットワークによるエンコーダーを用いて潜在分布の平均と分散を予測し、サンプリングされた潜在コードから入力音声信号を再構築するデコーダーを持つ。
• 条件付き変分オートエンコーダー（CVAE）のバリエーションを採用し、トレーニング中に感情ラベルを条件として潜在表現を条件づけることで、分離性と表現品質を向上させる。
• 学習された潜在特徴量（平均および分散ベクトル）を、カテゴリカルおよび次元的（次元）感情認識の両方の分類器であるLSTM分類器の入力として使用する。
• 変分下界（ELBO）を最適化することでモデルを訓練し、再構築損失と事後分布と事前分布のKLダイバージェンスのバランスをとる。
• 分類性能への影響を分析するために、異なる潜在次元数（32、128、512）を用いたアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 VAEsは、感情分類のための意味的で分離可能な音声信号の潜在表現を効果的に学習できるか？
• RQ2 LSTM分類器と組み合わせた場合、VAEベースの特徴学習は従来の自己符号化器（AEs）と比べて性能が優れているか？
• RQ3 条件付きVAE（CVAE）を用いることで、標準VAEと比較して表現品質および分類精度がさらに向上するか？
• RQ4 音声感情分類のパフォーマンスを最適化するために、最適な潜在次元数は何か？

主な発見

• CVAE-LSTMモデルは、次元的（次元）感情分類（Arousal, Power, Valence）において平均56.42%の精度を達成し、ハイアーチカル特徴融合による従来最高の55.3%を上回った。
• カテゴリカルな感情分類では、CVAE-LSTMモデルが64.93%の精度を達成し、手作業特徴またはハイブリッド特徴を用いた最先端手法と同等の性能を示した。
• VAE-LSTMおよびCVAE-LSTMは、AE-LSTMベースラインを顕著に上回り、VAEsが感情に敏感な表現を学習する優位性を示した。
• 最適な潜在特徴数は128と特定された。32（小さい）および512（大きい）のサイズでは両方とも性能が低下し、実験的チューニングの必要性が示された。
• 結果から、VAEsは感情関連情報を効果的に捉えることができる分離可能で低次元の表現を学習でき、最小限のインダクティブバイアスで高精度な分類が可能であることが明らかになった。
• 本研究は、VAEのような深層生成モデルを用いた自動的かつエンドツーエンドの音声感情特徴学習の実現可能性と潜在的価値を確認した。今後の自己教師あり感情表現学習分野の研究に道を開いた。