[論文レビュー] Linking emotions to behaviors through deep transfer learning

Haoqi Li, Brian Baucom+1 more|arXiv (Cornell University)|Oct 8, 2019

Emotion and Mood Recognition参考文献 78被引用数 4

ひとこと要約

本稿では、精神療法の文脈における自動行動認識を向上させるために、感情認識を行動の素因として活用する深層転移学習フレームワークを提案する。感情に情報を持つ特徴を抽出し、その系列的文脈を分析することで、本手法は感情ダイナミクスが行動分類を顕著に向上させることを示している。特に、受容や肯定的態度といった複雑で文脈依存性の高い行動において顕著である。

ABSTRACT

Human behavior refers to the way humans act and interact. Understanding human behavior is a cornerstone of observational practice, especially in psychotherapy. An important cue of behavior analysis is the dynamical changes of emotions during the conversation. Domain experts integrate emotional information in a highly nonlinear manner, thus, it is challenging to explicitly quantify the relationship between emotions and behaviors. In this work, we employ deep transfer learning to analyze their inferential capacity and contextual importance. We first train a network to quantify emotions from acoustic signals and then use information from the emotion recognition network as features for behavior recognition. We treat this emotion-related information as behavioral primitives and further train higher level layers towards behavior quantification. Through our analysis, we find that emotion-related information is an important cue for behavior recognition. Further, we investigate the importance of emotional-context in the expression of behavior by constraining (or not) the neural networks' contextual view of the data. This demonstrates that the sequence of emotions is critical in behavior expression. To achieve these frameworks we employ hybrid architectures of convolutional networks and recurrent networks to extract emotion-related behavior primitives and facilitate automatic behavior recognition from speech.

研究の動機と目的

• 臨床的対話の文脈における自動行動認識のため、基本的な感情が有効な行動素因として機能するかどうかを調査すること。
• 特に精神療法の文脈において、行動表現を形作る系列的および文脈的感情ダイナミクスの役割を検討すること。
• 複雑でドメイン特異的な行動を予測する際、感情に情報を持つ特徴と生の音響特徴の有効性を評価すること。
• 感情ベースの表現を用いた行動定量化に最適な時間的文脈窓を特定すること。
• 下流の行動分類タスクのための事前学習タスクとして感情認識を活用する転移学習フレームワークの開発

提案手法

• まず、音声信号から6つの基本的感情（怒り、嫌悪、恐怖、喜び、悲しみ、驚き）を識別するための深層ニューラルネットワークを、音響的およびプロソディック特徴を用いて学習する。
• 事前学習済みネットワークから得られた感情表現が特徴抽出器として使用され、これらの感情関連特徴が行動分類のための「行動素因」として扱われる。
• 局所的パターンと系列的依存関係の両方をモデル化するため、畳み込みニューラルネットワーク（CNN）と再帰ニューラルネットワーク（RNN）を組み合わせたハイブリッドアーキテクチャが採用される。
• 2つのモデルを比較する：10分間の対話全体を用いるフルコンテキストモデルと、16秒間の窓のみを用いるリダクションコンテキストモデル。これにより、時間的文脈の重要性を評価する。
• 転移学習を適用し、感情ベースの特徴を入力として、ネットワークの上位層を行動認識タスクに微調整する。
• システムは臨床的対話データセット上で評価され、行動ラベルは確立されたアノテーションマニュアルから取得され、ピアソン相関（PUR）およびその他の指標を用いて性能が測定される。

実験結果

リサーチクエスチョン

• RQ1 音声から推定される基本的感情状態が、臨床的対話における複雑な人間行動の予測に有効な素因として機能するか？
• RQ2 孤立した感情状態と比較して、感情の系列的順序および文脈的進化が、行動認識にどの程度向上効果をもたらすか？
• RQ3 文脈窓の長さ（例：16秒 vs. 10分）が、行動予測の正確性にどのように影響するか？
• RQ4 感情に情報を持つ特徴が、生の音響特徴または2値の感情表現よりも、行動分類においてより有効であるか？
• RQ5 どの種類の行動（例：受容、非難、肯定的態度）が文脈的感情モデリングの恩恵を特に受けるか？

主な発見

• 感情に情報を持つ特徴は、生の音響特徴や2値の感情表現を用いたベースラインモデルと比較して、行動分類の正確性を顕著に向上させる。
• 長時間の対話において感情の系列的ダイナミクスを捉えるフルコンテキストモデルは、すべての行動においてリダクションコンテキストモデルを常に上回り、時間的文脈の重要性を確認している。
• 受容や肯定的態度といった行動は、フルコンテキスト情報が使用された際、最も大きな性能向上（例：PURの差が顕著）を示しており、持続的な感情パターンに依存していることが示唆される。
• 一方、非難のような行動は、延長された文脈からの恩恵がほとんどなく、局所的で顕著な短時間の感情的キューに依存していると考えられる。
• 感情の継続性を要する行動、特に肯定的態度のような行動では、感情の継続的で肯定的な影響を維持する必要があるため、モデルは最高の性能を発揮する。
• 悲しみは、クラスの不均衡やデータ内の分類境界の曇りのため、感情ベースの特徴によっても正確に予測することが難しいとされ、依然として最も挑戦的な行動である。