[論文レビュー] Study on Feature Subspace of Archetypal Emotions for Speech Emotion Recognition

Xi Ma, Zhiyong Wu+4 more|arXiv (Cornell University)|Nov 17, 2016

Emotion and Mood Recognition参考文献 10被引用数 3

ひとこと要約

本稿では、感情対固有の特徴部分空間を構築し、各部分空間で二値分類器を訓練した後、投票によって結果を統合する分割統治型アプローチを提案する。この手法は、グローバル特徴空間を用いた従来の多クラス分類と比較して顕著に高い精度を達成しており、異なる感情対を区別するための特徴をより効果的に捉えられることを示している。

ABSTRACT

Feature subspace selection is an important part in speech emotion recognition. Most of the studies are devoted to finding a feature subspace for representing all emotions. However, some studies have indicated that the features associated with different emotions are not exactly the same. Hence, traditional methods may fail to distinguish some of the emotions with just one global feature subspace. In this work, we propose a new divide and conquer idea to solve the problem. First, the feature subspaces are constructed for all the combinations of every two different emotions (emotion-pair). Bi-classifiers are then trained on these feature subspaces respectively. The final emotion recognition result is derived by the voting and competition method. Experimental results demonstrate that the proposed method can get better results than the traditional multi-classification method.

研究の動機と目的

• 音声の特徴が著しく異なる感情を区別する際、グローバル特徴部分空間の限界を解消すること。
• 感情固有の特徴部分空間が、音声感情認識における分類性能の向上に寄与するかどうかを調査すること。
• 多クラス感情認識を一連の二値分類問題として扱うスケーラブルな分割統治フレームワークを構築すること。
• 本アプローチの有効性を、異なる特徴選択および変換手法を用いて検証すること。

提案手法

• 代表的な感情対（例：怒り 対 幸せ）に特化した特徴部分空間を構築し、単一のグローバル部分空間を用いるのではなく、それぞれの感情対に特化した部分空間を構築する。
• 特徴選択（例：遺伝的アルゴリズム）または特徴空間変換（例：ニューラルネットワーク）を適用し、各感情対に対して最も判別能の高い特徴を特定する。
• 各感情対固有の特徴部分空間上で二値分類器（例：ロジスティック回帰、SVM、ニューラルネットワーク）を訓練する。
• 個々の二値分類の意思決定を、投票および競合メカニズムを用いて統合し、最終的な感情ラベルを決定する。
• すべての部分空間が50個の特徴を含むようにし、グローバル特徴空間と公平な比較を実現する。
• フレーム単位の低レベル音声記述子（例：MFCC、F0、エネルギー、ゼロクロッシングレート）に、デルタ係数および統計関数を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 グローバル特徴部分空間と比較して、感情対固有の特徴部分空間は音声感情認識性能を向上させるか？
• RQ2 同じグローバル特徴空間を用いた場合、本手法の性能は従来の多クラス分類手法と比べてどうか？
• RQ3 特徴部分空間の変換を特徴サブセット選択の代わりに用いた場合、分割統治戦略は依然として有効か？
• RQ4 異なる感情対に対する特徴部分空間は、グローバル特徴部分空間とどの程度重複しているか？
• RQ5 本手法は、異なる分類器や特徴工学的手法に対しても一般化可能か？

主な発見

• 提案手法「バイクラスフィケーションと投票」は、ロジスティック回帰を用いた場合、認識精度が0.735に達し、従来の多クラス分類手法（0.653）と比較して有意に高い水準であった（p < 0.05）。
• SVMを用いた場合、提案手法は0.625の精度を達成したのに対し、多クラス分類ベースラインは0.513にとどまり、統計的に有意な改善が確認された。
• 怒り、退屈、幸せ、悲しみ、恐怖の全感情において、本手法はグローバル特徴空間ベースラインを上回り、認識率の上昇が一貫して得られた。
• 任意の感情対固有の部分空間とグローバル特徴部分空間との間で共有される特徴は5つ以下にとどまり、構造的な顕著な相違が示され、対別部分空間の必要性が裏付けられた。
• ニューラルネットワークを用いた特徴空間変換を適用しても、本手法は有効であり、グローバル手法の0.552と比較して0.652の精度を達成した。これにより、特徴工学的手法の多様な状況に対しても本手法の汎用性が確認された。