[論文レビュー] Semi-supervised Bayesian Deep Multi-modal Emotion Recognition

Changde Du, Changying Du+4 more|arXiv (Cornell University)|Apr 25, 2017

Emotion and Mood Recognition参考文献 12被引用数 5

ひとこと要約

本稿では、EEG、眼動作、顔の表情といった複数のモダリティから共通の深層表現を同時に学習するため、混合ガウスで近似された事後分布をモデル化する半教師付きベイジアン深層多モーダルオートエンコーダー（semiMVAE）を提案する。このフレームワークは変分推論を用いてラベルありおよびラベルなしデータを活用し、自動的にモダリティ固有の重みを学習する。実世界の感情認識データセット2つにおいて、ラベル付きデータが限られている状況でも、教師ありおよび半教師ありのベースラインを上回る最先端の性能を達成する。

ABSTRACT

In emotion recognition, it is difficult to recognize human's emotional states using just a single modality. Besides, the annotation of physiological emotional data is particularly expensive. These two aspects make the building of effective emotion recognition model challenging. In this paper, we first build a multi-view deep generative model to simulate the generative process of multi-modality emotional data. By imposing a mixture of Gaussians assumption on the posterior approximation of the latent variables, our model can learn the shared deep representation from multiple modalities. To solve the labeled-data-scarcity problem, we further extend our multi-view model to semi-supervised learning scenario by casting the semi-supervised classification problem as a specialized missing data imputation task. Our semi-supervised multi-view deep generative framework can leverage both labeled and unlabeled data from multiple modalities, where the weight factor for each modality can be learned automatically. Compared with previous emotion recognition methods, our method is more robust and flexible. The experiments conducted on two real multi-modal emotion datasets have demonstrated the superiority of our framework over a number of competitors.

研究の動機と目的

• 多モーダル感情認識における低品質で限られたラベル付き生理的データの課題に対処する。
• EEG、眼動作、顔の表情といった、相補的な信号を複数のモダリティから統合することで、単一モダリティの感情認識の限界を克服する。
• 大規模なラベルなし多モーダルデータを効果的に活用し、モデルの一般化性能を向上させる、耐障害性の高い半教師付き学習フレームワークを開発する。
• データ特性に応じて各モダリティの寄与度を自動的に学習する、統合プロセスにおける自動的モダリティ重み付けを実現する。

提案手法

• 潜在変数の事後分布を混合ガウスでモデル化することで、VAEフレームワークを拡張した多視点変分オートエンコーダー（MVAE）を提案し、効果的な多モーダル表現学習を可能にする。
• 変分推論を用いて、半教師付き分類問題を欠損データ補完タスクとして定式化し、トレーニング中にラベルなしデータを活用できるようにする。
• 深層ニューラルネットワークとベイジアン推論を統合し、表現学習と分類を同時に最適化する。スケーラブルな変分推論アプローチを用いる。
• 各モダリティの予測力と信頼性に応じて、動的に寄与度を調整する学習可能なモダリティ重み付け機構を導入する。
• 再構成誤差と分類誤差を組み合わせた損失関数を用い、スケーリング定数βで正則化した確率的勾配降下法で、モデルをエンドツーエンドに訓練する。
• 一般化性能の評価を、インダクティブおよびトランスダクティブな学習設定の両方で行い、異なるデータ分割とラベル割合を想定する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、感情認識における複数の生理的および行動的モダリティから、共有され、分離可能な表現を効果的に学習できるか？
• RQ2 ラベル付きデータが限られている状況で、半教師付き学習によるラベルなしデータの統合は、性能向上に寄与するか？
• RQ3 提案されたモデルは、手動のチューニングなしに最適なモダリティ固有の重みを自動で学習できるか？
• RQ4 異なるラベル割合において、提案された半教師付き多視点VAEの性能は、教師ありおよび既存の半教師ありベースラインと比べてどうか？
• RQ5 スケーリング定数βは、トレーニングプロセスにおける再構成と分類の目的のバランスにどのように影響を与えるか？

主な発見

• 提案されたsemiMVAEフレームワークは、SEEDおよびDEAPデータセットの両方で最高の平均正解率を達成し、すべてのラベル割合において、教師ありおよび半教師ありのベースラインを顕著に上回った。
• 1%のラベル付きデータでのみ学習した場合、SEEDデータセットで86.1% ± 3.7%、DEAPデータセットで42.4% ± 2.0%の正解率を達成し、より大きなラベル付きデータセットで学習した完全な教師あり手法でさえも上回った。
• 両データセットにおいて、EEGモダリティは学習されたモダリティ重み付け機構で常に最高の重みが割り当てられており、感情認識における強力な判別力が裏付けられた。
• ラベル付きおよびラベルなしデータの割合が増加するにつれて、semiMVAEの性能は一貫して向上し、両データタイプの効果的な活用が示された。
• スケーリング定数βは性能に顕著な影響を与え、最適な結果はβ = 0.1、0.5、または1で得られた。再構成と分類のバランスが重要であることが示された。
• 浅いグラフベースの半教師付きモデル（AMMSS、AMGL）は、深層階層特徴を抽出できないため、最も成績が悪く、深層生成モデリングの優位性が浮き彫りになった。