[論文レビュー] A Generalized Zero-Shot Framework for Emotion Recognition from Body Gestures

Jinting Wu, Yujia Zhang+2 more|arXiv (Cornell University)|Oct 13, 2020

Emotion and Mood Recognition参考文献 13被引用数 7

ひとこと要約

本論文は、自己注意付きBLSTM特徴抽出器を共有するマルチブランチアーキテクチャを用いた一般化ゼロショット学習（GZSL）フレームワークを提案する。このフレームワークには、プロトタイプベース検出器、多様体正則化付きスタックドオートエンコーダー、および感情分類器が含まれる。本フレームワークは、MASRデータセット上で最先端の性能を達成し、未学習カテゴリの正確性を7.3%向上させ、調和平均を8.01%向上させた。

ABSTRACT

Although automatic emotion recognition from facial expressions and speech has made remarkable progress, emotion recognition from body gestures has not been thoroughly explored. People often use a variety of body language to express emotions, and it is difficult to enumerate all emotional body gestures and collect enough samples for each category. Therefore, recognizing new emotional body gestures is critical for better understanding human emotions. However, the existing methods fail to accurately determine which emotional state a new body gesture belongs to. In order to solve this problem, we introduce a Generalized Zero-Shot Learning (GZSL) framework, which consists of three branches to infer the emotional state of the new body gestures with only their semantic descriptions. The first branch is a Prototype-Based Detector (PBD) which is used to determine whether an sample belongs to a seen body gesture category and obtain the prediction results of the samples from the seen categories. The second branch is a Stacked AutoEncoder (StAE) with manifold regularization, which utilizes semantic representations to predict samples from unseen categories. Note that both of the above branches are for body gesture recognition. We further add an emotion classifier with a softmax layer as the third branch in order to better learn the feature representations for this emotion classification task. The input features for these three branches are learned by a shared feature extraction network, i.e., a Bidirectional Long Short-Term Memory Networks (BLSTM) with a self-attention module. We treat these three branches as subtasks and use multi-task learning strategies for joint training. The performance of our framework on an emotion recognition dataset is significantly superior to the traditional method of emotion classification and state-of-the-art zero-shot learning methods.

研究の動機と目的

• トレーニング中に存在しなかった新しい感情的ボディジェスチャーを認識する課題に対処すること。現在の手法は、データ不足とカテゴリの不一致のため、この課題を処理できない。
• 実世界のテスト環境において、既知のカテゴリよりも未知のカテゴリを優遇するゼロショット学習モデルのバイアスを克服すること。
• 意味的記述を用いて、ボディジェスチャーのカテゴリとそれに関連する感情状態を同時に学習することで、感情認識の正確性を向上させること。
• 新しいカテゴリのラベル付きデータを必要とせずに、既知および未知の感情的ボディジェスチャーに一般化可能な統合フレームワークを構築すること。

提案手法

• 自己注意モジュールを備えた共有バイディレクショナル・ロングショートターム記憶（BLSTM）ネットワークが、ボディジェスチャー時系列から深層時系列特徴を抽出する。
• プロトタイプベース検出器（PBD）は、学習されたしきい値を用いて、サンプルを既知のジェスチャークラスに分類し、それが未知のカテゴリに属するかどうかを検出する。
• 多様体正則化付きスタックドオートエンコーダー（StAE）は、意味的埋め込みを用いて視覚的特徴を再構築する学習を行い、未知のジェスチャークラスの分類を可能にする。
• ソフトマックス層を備えた感情分類器は、感情分類のための特徴表現学習を強化するために、共同で訓練される。
• マルチタスク学習により、3つのブランチを同時に最適化し、既知および未知のカテゴリにおける性能のバランスを改善し、一般化性能を向上させる。
• StAEにおける多様体正則化は、視覚的空間および意味的空間の幾何学的構造を保持し、未知データへの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 一般化ゼロショット学習フレームワークは、トレーニングデータに存在しない新しい感情的ボディジェスチャーを効果的に認識できるか？
• RQ2 テストデータに既知および未知のジェスチャーが共に含まれる状況で、モデルは両方のカテゴリで高い正確性を維持できるか？
• RQ3 感情分類器を統合することで、ボディジェスチャーに基づく感情認識の一般化性能はどの程度向上するか？
• RQ4 異なるハイパーパrameterが、GZSL設定における再構築、多様体保存、分類性能のバランスにどのように影響するか？

主な発見

• 提案フレームワークは、既知および未知のジェスチャー認識で41.42%の調和平均（H）を達成し、前回の最先端手法比で8.01%の向上を示した。
• 未知ジェスチャークラスの正確性（Accu）は29.93%に達し、次に優れた手法比で7.3%の絶対的向上を示した。
• 未知カテゴリにおける感情認識性能（Accu^em）は75.18%に達し、前回の最先端手法比で6.57%の増加を示した。
• 感情分類器ブランチの導入により、一般化性能が向上し、Accs^emは前回の研究比で10.35%向上した。
• ハイパーパramータ分析の結果、γ1、γ2、γ3の中間的な値で最適な性能が達成され、再構築、多様体学習、テスト時しきい値設定のバランスが取れた。
• フレームワークは、未知ジェスチャーを正しく検出し、正しい感情状態にマッピングすることができ、実世界のGZSLシナリオにおける頑健性を示した。