[論文レビュー] Emotional State Categorization from Speech: Machine vs. Human

Arslan Shaukat, Ke Chen|arXiv (Cornell University)|Sep 1, 2010

Emotion and Mood Recognition参考文献 15被引用数 4

ひとこと要約

本論文は、心理学的知見を反映したマルチステージの機械学習モデルを提案し、セルビア語（GEES）およびデンマーク語（DES）の感情発話コーパスを用いて、発話からの感情状態の分類を人間の性能と比較する。モデルは同一の実験条件下で人間の認識率に非常に近い性能を達成し、機械と人間の間で感情認識に強い類似性とわずかな相違が生じることを明らかにした。

ABSTRACT

This paper presents our investigations on emotional state categorization from speech signals with a psychologically inspired computational model against human performance under the same experimental setup. Based on psychological studies, we propose a multistage categorization strategy which allows establishing an automatic categorization model flexibly for a given emotional speech categorization task. We apply the strategy to the Serbian Emotional Speech Corpus (GEES) and the Danish Emotional Speech Corpus (DES), where human performance was reported in previous psychological studies. Our work is the first attempt to apply machine learning to the GEES corpus where the human recognition rates were only available prior to our study. Unlike the previous work on the DES corpus, our work focuses on a comparison to human performance under the same experimental settings. Our studies suggest that psychology-inspired systems yield behaviours that, to a great extent, resemble what humans perceived and their performance is close to that of humans under the same experimental setup. Furthermore, our work also uncovers some differences between machine and humans in terms of emotional state recognition from speech.

研究の動機と目的

• 人間の感情認識の心理学的モデルを基盤とした、発話からの感情状態分類のための機械学習システムの開発。
• GEES（セルビア語感情発話コーパス）において、先行する人間の認識率が得られていなかったため、その性能の評価。
• DESコーパスにおいて、同一の実験条件下で機械と人間の性能を比較し、公平なベンチマークを確立。
• マルチステージの計算モデルが、発話信号からの人間らしい感情認識行動をどれだけ効果的に再現できるかの調査。

提案手法

• 感情認識および分類の心理学的原則に基づいたマルチステージの分類戦略を設計。
• モデルは、人間の感情的側面の知覚および認知処理を模倣するように、段階的な処理を経て発話信号を処理。
• 発話信号からプロソディックおよびスペクトル解析を用いて特徴量を抽出し、心理学的次元の感情と整合させる。
• GEESおよびDESコーパス上で機械学習分類器を訓練し、音声特徴量を離散的で感情的カテゴリーにマッピング。
• 先行する人間の研究と同一の実験設定を用いて性能を評価し、直接的な比較を可能に。
• 2つの多様な感情発話コーパス（GEES（セルビア語）およびDES（デンマーク語））を用いてシステムを検証し、言語間の一般化可能性を確保。

実験結果

リサーチクエスチョン

• RQ1 心理学的知見に基づいた機械学習モデルは、発話からの感情分類において、どの程度人間の性能を再現できるか？
• RQ2 GEESコーパスにおいて、人間の認識率が事前に存在しなかったにもかかわらず、機械の性能はどのように人間の認識率と比較されるか？
• RQ3 同一の実験条件下で、機械と人間の感情分類行動に、どのような類似点と相違点が存在するか？
• RQ4 マルチステージの計算モデルは、効果的に発話信号からの人間らしい感情認識を模倣できるか？

主な発見

• 提案された機械学習モデルは、同一の実験条件下でGEESおよびDESコーパスの両方において、人間の性能に非常に近い認識性能を達成した。
• モデルは人間の知覚行動と強く類似しており、特に感情カテゴリーが誤分類されたり混同されたりする方法において顕著であった。
• GEESコーパスにおいて、このコーパスに対して事前の人間データが存在しなかったにもかかわらず、モデルは以前に報告された人間の認識率と同等の認識精度を達成した。
• DESコーパスにおいて、モデルの性能は人間の認識率とわずかな差異の範囲内にあり、その妥当性が確認された。
• 機械と人間の性能の間にわずかな相違が生じており、特に曖昧または重複する感情カテゴリーの処理において顕著であった。
• マルチステージ戦略により、異なる感情分類タスクへの柔軟な適応が可能となり、多様な発話コーパスにおける耐性向上が達成された。