[論文レビュー] SEGAA: A Unified Approach to Predicting Age, Gender, and Emotion in Speech

Raluca Anca Corb Aron, Indra Sigicharla+5 more|arXiv (Cornell University)|Mar 1, 2024

Emotion and Mood Recognition被引用数 4

ひとこと要約

本稿では、統一されたアーキテクチャを用いて音声から年齢、性別、感情を同時に予測するマルチアウトプット深層学習モデルSEGAAを提案する。共有特徴抽出器とタスク固有のヘッドを活用することで、変数間の相関関係を効率的にモデル化し、順次処理や個別モデルを上回る実行効率と誤差安定性を達成。性能は競争力があり、性別検出で99%の正確性を達成した。

ABSTRACT

The interpretation of human voices holds importance across various applications. This study ventures into predicting age, gender, and emotion from vocal cues, a field with vast applications. Voice analysis tech advancements span domains, from improving customer interactions to enhancing healthcare and retail experiences. Discerning emotions aids mental health, while age and gender detection are vital in various contexts. Exploring deep learning models for these predictions involves comparing single, multi-output, and sequential models highlighted in this paper. Sourcing suitable data posed challenges, resulting in the amalgamation of the CREMA-D and EMO-DB datasets. Prior work showed promise in individual predictions, but limited research considered all three variables simultaneously. This paper identifies flaws in an individual model approach and advocates for our novel multi-output learning architecture Speech-based Emotion Gender and Age Analysis (SEGAA) model. The experiments suggest that Multi-output models perform comparably to individual models, efficiently capturing the intricate relationships between variables and speech inputs, all while achieving improved runtime.

研究の動機と目的

• 単一の統一モデルを用いて、音声からの年齢・性別・感情の共同予測におけるギャップを埋める。
• 段階的なモデルが段階を経て誤差を伝搬するという限界を克服するため、マルチアウトプットアーキテクチャを導入する。
• 共有表現において年齢・性別・感情の間の相関関係をモデル化することで、効率性と予測性能を向上させる。
• 個別モデルの性能に匹敵または上回る性能を達成すると同時に、計算負荷を低減できるマルチアウトプット学習の有効性を示す。
• 医療、カスタマーサービス、メンタルヘルスモニタリングなどの実世界応用に耐えうる、強固でスケーラブルなフレームワークを構築する。

提案手法

• SEGAAモデルは、生の音声入力を用いて共有された音声表現を抽出するための共有畳み込みニューラルネットワーク（CNN）バックボーンを採用する。
• 共有特徴抽出器に、年齢の回帰用、性別の分類用、感情の分類用の3つのタスク固有のヘッドを接続する。
• 年齢予測には平均二乗誤差（MSE）、性別分類には多値交差エントロピー、感情分類には交差エントロピーを組み合わせたマルチタスク損失関数を用いて、エンド・ツー・エンドでモデルを訓練する。
• 特にマルチアウトプット設定において収束性と汎化性能を向上させるために、Nadam最適化アルゴリズムを採用する。
• 訓練データは、CREMA-DとEMO-DBデータセットを統合することで構築され、年齢・性別・感情の3つのラベルがすべて存在するようにする。
• モデルの性能評価には、すべてのタスクで正確性、適合率、再現率、F1スコアを用い、誤りのパターンを分析するために混同行列を用いる。

Figure 1: Workflow Diagram

実験結果

リサーチクエスチョン

• RQ1 統一されたマルチアウトプット深層学習モデルは、個別モデルと同等またはそれ以上の性能を達成できるか、音声からの年齢・性別・感情予測において？
• RQ2 段階的モデル（例：感情 → 性別 → 年齢）における誤差伝搬は、共同予測と比較して全体の予測正確性にどのように影響するか？
• RQ3 年齢・性別・感情の間の相関関係を共有表現で同時にモデル化することで、どれほどモデル性能が向上するか？
• RQ4 提案されたマルチアウトプットアーキテクチャは、個別モデルや段階的モデルと比較して、高い効率性と低レイテンシを維持できるか？
• RQ5 特に60代や70代といったレアなデモグラフィックグループにおいて、年齢グループの不均衡にどう対処できるか？

主な発見

• マルチアウトプットのSEGAAモデルは、性別検出で99%の正確性を達成し、個別モデルを上回り、優れた汎化性能を示した。
• 感情予測では96%の正確性を達成したが、クラスの不均衡の影響で「ニュートラル」と「不安／恐怖」クラスではやや性能が低かった。
• 年齢予測においても高い性能を維持したが、60代や70代の年齢グループではデータの不足のため、正確性がわずかに低下した。
• 段階的モデル（例：感情 → 性別 → 年齢）と比較して、マルチアウトプットのSEGAAモデルは著しく誤差伝搬が抑えられ、全体のF1スコアも優れていた。
• 個別モデルにわずかに優れる正確性を示す一方で、マルチアウトプットのSEGAAモデルは、実時間応用に適した優れた実行効率と安定性を示した。
• 混同行列の分析から、個別モデルとマルチアウトプットのSEGAAモデルの両方が低誤分類率を示しており、特にマルチアウトプットバージョンはすべてのクラスで一貫した性能を示した。

Figure 2: Model architecture for Individual MLP