[論文レビュー] A Study of Language and Classifier-independent Feature Analysis for Vocal Emotion Recognition

Fatemeh Noroozi, Marina Marjanović+3 more|arXiv (Cornell University)|Nov 14, 2018

Speech and Audio Processing参考文献 1被引用数 5

ひとこと要約

本論文は、音声感情認識のための言語および分類器に依存しない特徴選択フレームワークを提案し、3段階のプロセス（特徴の順位付け、言語および分類器固有の特徴サブセットの特定、最先端のフィルタ法との性能比較）を用いる。この手法は、ポーランド語、セルビア語、英語の複数の言語およびKNN、SVM、ニューラルネットワークの複数の分類器において優れた認識性能を達成し、その中心的貢献は、言語や分類器にかかわらず一貫して有効である6つの共通特徴（例：$x_{34}, x_{36}, x_{39}, x_{42}, x_{52}, x_{60}, x_{67}, x_{84}$）を特定することにある。

ABSTRACT

Every speech signal carries implicit information about the emotions, which can be extracted by speech processing methods. In this paper, we propose an algorithm for extracting features that are independent from the spoken language and the classification method to have comparatively good recognition performance on different languages independent from the employed classification methods. The proposed algorithm is composed of three stages. In the first stage, we propose a feature ranking method analyzing the state-of-the-art voice quality features. In the second stage, we propose a method for finding the subset of the common features for each language and classifier. In the third stage, we compare our approach with the recognition rate of the state-of-the-art filter methods. We use three databases with different languages, namely, Polish, Serbian and English. Also three different classifiers, namely, nearest neighbour, support vector machine and gradient descent neural network, are employed. It is shown that our method for selecting the most significant language-independent and method-independent features in many cases outperforms state-of-the-art filter methods.

研究の動機と目的

• 音声感情認識において、話されている言語および分類アルゴリズムに依存しない特徴選択手法を開発すること。
• 感情認識システムにおける高次元で相関の高い、言語依存の特徴の課題に対処すること。
• 多様な言語および分類器において高い性能を維持する最小で頑健な特徴集合を特定すること。
• 計算複雑性を低減しつつ、既存のフィルタベースの特徴選択手法を上回る認識精度を達成すること。

提案手法

• 段階1：最先端の音声品質特徴に基づく特徴順位付け手法を提案し、関連性と識別能を優先する。
• 段階2：順位に基づく戦略を用いて、言語固有および分類器固有の特徴サブセットを特定し、各言語および分類器ごとに最高性能を発揮する特徴を選択する。
• 段階3：3つのデータベース（ポーランド語、セルビア語、英語）および3つの分類器（KNN、SVM、ニューラルネットワーク）を用いて、提案手法の認識性能を最先端のフィルタ法と比較する。
• 統計的順位付けと交差検証による性能評価を組み合わせたハイブリッド特徴選択戦略を採用し、共通で影響力の高い特徴を特定する。
• 全データセットに共通する84個の音声品質特徴（周波数、フォルマント、MFCC、FBE、スペクトル特徴など）のユニフィード特徴セットを用いる。
• 全言語にわたって一貫性と公平性を確保するため、共通の特徴抽出パイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 両方の言語および分類器に依存しないが、高い認識精度を維持できる特徴選択手法を設計できるか？
• RQ2 音声感情認識において、複数の言語および分類器にわたって最も一貫して識別能が高い音声品質特徴のサブセットは何か？
• RQ3 提案手法は、多言語感情認識における既存のフィルタベースの特徴選択技術と比較して、性能でどのように差をつけるか？
• RQ4 多様な言語的および分類器的条件下で高い認識性能を達成できる最小の特徴集合は何か？
• RQ5 言語固有および分類器固有の特徴サブセットはどの程度異なるか？また、共通コアをどのように特定できるか？

主な発見

• 提案手法は、全テスト言語および全分類器において、最先端のフィルタ法を上回る認識精度を達成した。
• ポーランド語、セルビア語、英語のデータセットにおいて、一貫して有効な6つの特徴（$x_{34}, x_{36}, x_{39}, x_{42}, x_{52}, x_{60}, x_{67}, x_{84}$）が共通して特定された。
• 各分類器に対して上位22個の特徴のみを用いても、高い認識性能を達成した。これは、効率性と頑健性を示している。
• 分類器に依存しない特徴選択により、KNN、SVM、ニューラルネットワークの全分類器において、$x_{21}, x_{22}, x_{26}, x_{28}, x_{29}, x_{33}, x_{63}, x_{66}, x_{67}, x_{79}, x_{84}$ が非常に関連性が高いことが特定された。
• 言語固有の特徴サブセットは顕著に異なっていたが、上位特徴の重複は顕著で、普遍的な感情の手がかりが存在することを裏付けた。
• ユニフィード順位付け戦略の使用により、下流の分類器に依存しない一貫した高パフォーマンス特徴の特定が可能になった。