[論文レビュー] Human Vocal Sentiment Analysis

Andrew Huang, Puwei Bao|arXiv (Cornell University)|May 19, 2019

Music and Audio Processing参考文献 16被引用数 29

ひとこと要約

本稿では、従来の音声特徴抽出法（MFCC、STFT）、機械学習モデル（SVM、HMM）、深層学習アーキテクチャ（CNN、LSTM、ResNet）を組み合わせたハイブリッド手法を提案し、人間の音声による感情分析を実施する。怒りの分類で86.8%、嫌悪の分類で78%の精度を達成しており、文脈に配慮した特徴を用いた深層学習が、従来の手法に比べて感情分類性能を顕著に向上させることを示している。また、軽量モデルを用いたリアルタイム実行可能性の評価も実施している。

ABSTRACT

In this paper, we use several techniques with conventional vocal feature extraction (MFCC, STFT), along with deep-learning approaches such as CNN, and also context-level analysis, by providing the textual data, and combining different approaches for improved emotion-level classification. We explore models that have not been tested to gauge the difference in performance and accuracy. We apply hyperparameter sweeps and data augmentation to improve performance. Finally, we see if a real-time approach is feasible, and can be readily integrated into existing systems.

研究の動機と目的

• 従来の特徴ベース手法を上回る精度とリアルタイム実行可能性を有する人間の音声感情分析の向上を目的とする。
• 音声とテキストの文脈を用いて、深層学習モデル（CNN、LSTM、ResNet）の音声感情分類における性能を評価すること。
• 音声特徴抽出、セグメントレベルの特徴、深層ニューラルネットワークを統合して分類性能を向上させる複数のアプローチをベンチマーク・統合すること。
• データ拡張、ハイパーパrameterチューニング、モデルアーキテクチャの影響が性能と一般化能力に与える影響を評価すること。
• 個人アシスタントや音声ベースシステムへの実装を想定した、最適化された深層学習モデルを用いたリアルタイム推論が可能かどうかを検証すること。

提案手法

• 生の音声信号からMFCC、STFT、ピッチ、エネルギー、フォルマント、およびそれらの微分（速度・加速度）を含む音声特徴を抽出した。
• 手作業で作成した特徴に対して、SVM や HMM などの従来の分類器を用い、2クラス、4クラス、5クラスの感情分類を実施した。
• セグメントレベルの音声および処理済み特徴（MFCC、STFT）を、SVM や ELM などの機械学習モデルの入力として用い、より優れた表現を得ることを目的とした。
• 残差接続とドロップコネクトを導入した深層ニューラルネットワーク（CNN、LSTM、ResNet）を訓練し、勾配の流れの改善と一般化性能の向上を図った。
• 音声特徴とテキストデータを統合し、文脈レベルの分析を実施することで、感情分類の精度向上を図った。
• ハイパーパrameterスイープを実施し、モデルの頑健性と長さの変動に対する不変性を向上させるためのデータ拡張技術を適用した。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮した特徴を用いた深層学習モデルは、従来の機械学習モデルに比べ、音声感情分類において優れた性能を示すか？
• RQ2 CNN、LSTM、ResNet などの異なるアーキテクチャは、RAVDESS および TESS データセットにおける感情認識タスクで、どのように性能を発揮するか？
• RQ3 データ拡張は、特に代表が少ない感情クラスにおいて、モデルの一般化性能をどの程度向上させるか？
• RQ4 最適化された深層学習モデルを用いたリアルタイム推論パイプラインは、音声アシスタントへの実装に実現可能か？
• RQ5 残差接続とアテンション機構は、ショットが少ない感情分類タスクにおける性能にどのように影響を与えるか？

主な発見

• CNNベースのモデルが最も高い精度を示し、怒りの分類で86.8%、嫌悪の分類で78%、落ち着いた状態の分類で72%を達成した。これは、明確な感情波形に対して優れた性能を示している。
• ニュートラルおよび落ち着いた状態のクラスでは最も低い精度（それぞれ64%、55%）を示し、単調で変動が少ない感情状態の区別が難しいことが示された。
• 5クラス分類では性能が著しく低下した。これは、現在の特徴セットでは微細な感情差を区別することが困難であることを示している。
• ハイパーパrameterチューニングとデータ拡張によりモデルの頑健性が向上したが、音声信号の空間的性質に欠けることから、拡張の効果は限定的であった。
• 残差接続はこのタスクにおいて顕著な性能向上をもたらさなかった。これは、クラス数が限定的で過学習のリスクが高いためと推測される。
• 平均化されたCNNモデルは安定した訓練および検証曲線を示し、RAVDESS+TESS データセットにおいて良好な収束性と過学習の低減が確認された。