[論文レビュー] An Ensemble Framework of Voice-Based Emotion Recognition System for Films and TV Programs

Fei Tao, Gang Liu+1 more|arXiv (Cornell University)|Mar 3, 2018

Music and Audio Processing参考文献 21被引用数 3

ひとこと要約

本論文は、映画・テレビ音声における音声ベースの感情認識のためのアンサンブル深層学習フレームワークを提案する。手作業で抽出した特徴量、iVector、語彙的情報、アテンションベースのRNNを、性別と話者分類のマルチタスク学習を用いて統合する。このシステムは、最高のベースラインから相対的に29.5%（絶対値で7.8ポイント）の向上を達成し、ノイズが多い、発話が少ない、長さが変動する音声環境においても高い頑健性を示した。

ABSTRACT

Employing voice-based emotion recognition function in artificial intelligence (AI) product will improve the user experience. Most of researches that have been done only focus on the speech collected under controlled conditions. The scenarios evaluated in these research were well controlled. The conventional approach may fail when background noise or nonspeech filler exist. In this paper, we propose an ensemble framework combining several aspects of features from audio. The framework incorporates gender and speaker information relying on multi-task learning. Therefore it is able to dig and capture emotional information as much as possible. This framework is evaluated on multimodal emotion challenge (MEC) 2017 corpus which is close to real world. The proposed framework outperformed the best baseline system by 29.5% (relative improvement).

研究の動機と目的

• 背景ノイズ、発話が少ない、長さが変動する音声環境のような現実世界の音声条件下でも良好に動作する頑健な音声ベースの感情認識システムの開発。
• 制御されたスタジオデータに依存する先行研究の限界を補うために、現実の音声課題を有するMEEC 2017コーパスを用いて評価すること。
• 手作業で抽出したプロソディック特徴（IS10）、iVector表現、ASRからの語彙的コンテンツ、アテンションベースのRNNによる深層表現の複数の特徴タイプを統合することで、感情認識性能の向上を図ること。
• 性別と話者分類を補助タスクとして用い、実務で容易に入手可能なラベルを活用することで、主タスクの感情認識を強化するマルチタスク学習を活用すること。
• 相補的な強みを活かせる複数のサブシステムを統合するアンサンブルフレームワークを設計し、全体の認識精度と頑健性の向上を図ること。

提案手法

• フレームワークは4つのサブシステムのアンサンブルを採用：IS10特徴量を用いたマルチタスクDNN、iVector特徴量を用いたマルチタスクDNN、ASRトランスクリプトに基づく語彙的SVM、アテンションベースの重み付きプーリングRNN。
• DNNおよびRNNのサブシステムではマルチタスク学習を適用し、感情分類を主タスクとし、性別分類と話者分類を補助タスクとする。タスク重みはそれぞれ0.6および0.3である。
• RNN内のアテンション機構は、学習された重みベクトルを用いて文脈に適したプーリングを計算する：$ A_T = \frac{\exp(W \cdot h_T)}{\sum_{t=1}^{n} \exp(W \cdot h_T)} $。これにより、モデルは重要と思われる時間的セグメントに注目できる。
• 特徴量の正規化を実施：IS10特徴量は訓練セット統計を用いたz正規化を適用し、時系列特徴量は各発話内での正規化を実施。
• アンサンブル統合では、検証データ上で最適化されたマクロFスコアを達成する線形結合重みを用いてサブシステムの予測を統合。
• DNNの訓練にはSGD、RNNの訓練にはAdamを用い、バッチサイズは32、学習データの10%を検証用に確保。

実験結果

リサーチクエスチョン

• RQ1 プロソディック、iVector、語彙的、深層表現といった多様な音声特徴量を統合したアンサンブルフレームワークは、単一モデルのベースラインを上回る性能を達成できるか？
• RQ2 性別と話者分類を補助タスクとして用いるマルチタスク学習は、リソースが限られた、ノイズが多い、発話が少ない音声環境における感情認識性能の向上にどの程度効果的か？
• RQ3 発話以外の音声（例：ため息、笑い）は感情認識にどの程度寄与するか。また、提案されたフレームワークではこれらを効果的にモデル化できるか？
• RQ4 重み付きプーリングを施したアテンションベースのRNNは、標準的なRNNやDNNと比較して、長さが変動する発話に対して性能を向上させるか？
• RQ5 相補的な強みを持つ複数のサブシステムを統合することで、MEEC 2017コーパス上での全体の感情認識精度と頑健性はどの程度向上するか？

主な発見

• 提案されたアンサンブルフレームワークは、マクロFスコア（MAF）34.2%を達成し、最高のベースラインシステム（単一タスクのDNN）比で絶対値7.8ポイント（相対値29.5%）の向上を示した。
• IS10特徴量を用いたマルチタスクDNNはMAF 32.4%を達成し、単一タスクDNNベースライン（26.4%）を6ポイント上回り、補助タスクの有効性を示した。
• アテンションベースのRNNサブシステムはMAF 23.2%を達成したが、これはベースラインDNNより低く、有効なRNN学習に十分なデータ（4.5時間）が得られなかったことが原因とされる。
• 語彙的SVMサブシステムは性能が低く（MAF 17.7%）、ASRから得たテキスト特徴量がこの文脈では信頼性が低く、変換エラーの影響が大きいと考えられる。
• iVector特徴量を用いたマルチタスクDNNはMAF 27.4%を達成し、iVector表現が感情認識に有効であることが示されたが、IS10特徴量ほど効果的ではなかった。
• アンサンブル統合戦略は、サブシステムの相補的強みを効果的に統合し、実世界の音声における全体の性能向上を確認した。