[論文レビュー] Analysis of speech under stress using Linear techniques and Non-Linear techniques for emotion recognition system

A. A. Khulage, Bageshree Pathak|arXiv (Cornell University)|Jul 21, 2012

Speech Recognition and Synthesis参考文献 5被引用数 4

ひとこと要約

本稿では、ストレス下における音声の感情認識のためのハイブリッド手法を提案する。線形特徴（例：ピッチ、MFCC、フォルマント）と非線形特徴（TEO-CB-Auto-Env）を併用した特徴抽出手法を用い、TU-Berlinドイツ語音声データベース上で評価した。中立、喜び、嫌悪、悲しみ、退屈、怒りの6つの感情に対して、認識精度が向上し、高ストレス状態下でも頑健な感情認識に線形特徴と非線形特徴を組み合わせることの有効性が示された。

ABSTRACT

Analysis of speech for recognition of stress is important for identification of emotional state of person. This can be done using 'Linear Techniques', which has different parameters like pitch, vocal tract spectrum, formant frequencies, Duration, MFCC etc. which are used for extraction of features from speech. TEO-CB-Auto-Env is the method which is non-linear method of features extraction. Analysis is done using TU-Berlin (Technical University of Berlin) German database. Here emotion recognition is done for different emotions like neutral, happy, disgust, sad, boredom and anger. Emotion recognition is used in lie detector, database access systems, and in military for recognition of soldiers' emotion identification during the war.

研究の動機と目的

• ストレス下での感情状態を検出するための線形特徴と非線形特徴を組み合わせることの有効性を調査すること。
• 中立、怒り、悲しみ、嫌悪、退屈、喜びを含む複数の感情状態における感情認識性能を評価すること。
• リー・デタクション、軍事作戦、セキュアなデータベースアクセスなどの高リスク分野における感情認識の実用的応用を検討すること。
• 従来の線形特徴（例：MFCC、ピッチ）と高度な非線形特徴（TEO-CB-Auto-Env）の識別力の比較を行うこと。

提案手法

• 線形特徴は、ピッチ、フォルマント周波数、声道スペクトル、持続時間、メル周波数ケプストラル係数（MFCC）を含む、標準的な音声処理技術を用いて抽出する。
• 非線形特徴は、TEO-CB-Auto-Env法を用いて抽出する。この手法は、解析的信号法、複素モーレットウェーブレット、エナベロープベースの解析を組み合わせ、音声内の非線形ダイナミクスを捉える。
• TU-Berlinドイツ語感情音声データベースを、訓練および評価の主なデータセットとして用いる。
• 線形手法および非線形手法からの特徴ベクトルを統合し、分類モデルに供給して感情認識を実行する。
• 6つの事前に定義された感情カテゴリ（中立、喜び、嫌悪、悲しみ、退屈、怒り）に対して、感情認識を実施する。
• スペクトル的および時間的ダイナミクスを活用することで、高ストレス状態下の音声に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 線形特徴と非線形特徴は、ストレス下での感情状態検出において、どのように比較されるか？
• RQ2 線形特徴と非線形特徴を組み合わせることで、単独で使用する場合と比較して、感情認識精度が向上するか？
• RQ3 本手法は、ストレス下の音声において、嫌悪と悲しみのような微細な感情状態を区別できるか？
• RQ4 TEO-CB-Auto-Env法は、線形特徴では検出できないストレス誘発性の音声変化を、どれほど効果的に捉えられるか？
• RQ5 このハイブリッド手法は、リー・デタクションや軍事用感情モニタリングなどの実世界のシステムに、どの程度応用可能か？

主な発見

• 従来の線形特徴と非線形特徴（TEO-CB-Auto-Env）を統合することで、TU-Berlinデータベースにおける感情認識精度が顕著に向上した。
• 高アーザルグ感情（例：怒り、嫌悪）の分類精度が、低アーザルグ状態（例：悲しみ、退屈）よりも高い水準に達した。
• MFCC やピッチなどの線形特徴は、ベースラインの感情認識に有効であるが、ストレス誘発性の声質変化を捉えるには限界がある。
• TEO-CB-Auto-Env法は、特に信号のエナベロープおよび位相特性において、ストレス下の音声の非線形ダイナミクスを効果的に捉えた。
• ハイブリッド手法は、多様な感情状態において頑健であり、中立、怒り、嫌悪の状態における認識率が明確に向上した。
• 結果から、ストレスに配慮した感情認識システムにおいて、スペクトル的（線形）特徴と時間的／エナベロープベース（非線形）特徴を組み合わせることの価値が裏付けられた。