[論文レビュー] Augmenting Supervised Emotion Recognition with Rule-Based Decision Model

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|Jul 9, 2016

Emotion and Mood Recognition参考文献 35被引用数 10

ひとこと要約

本稿では、人為的アノテータの合意と確立された感情-ポーズ関連性に基づいて抽出された視覚的特徴を活用することで、教師あり感情認識システムの性能を向上させるルールベースの意思決定モデルを提案する。意思決定段階においてルールベースの評価と学習された分類器を組み合わせることで、特にドメイン外（コーパス間）のテストデータにおいて認識精度が向上し、教師ありモデルの過学習に対する耐性が示された。

ABSTRACT

The aim of this research is development of rule based decision model for emotion recognition. This research also proposes using the rules for augmenting inter-corporal recognition accuracy in multimodal systems that use supervised learning techniques. The classifiers for such learning based recognition systems are susceptible to over fitting and only perform well on intra-corporal data. To overcome the limitation this research proposes using rule based model as an additional modality. The rules were developed using raw feature data from visual channel, based on human annotator agreement and existing studies that have attributed movement and postures to emotions. The outcome of the rule evaluations was combined during the decision phase of emotion recognition system. The results indicate rule based emotion recognition augment recognition accuracy of learning based systems and also provide better recognition rate across inter corpus emotion test data.

研究の動機と目的

• 教師あり感情認識モデルがコーパス内データに過学習し、ドメイン外のテストデータで性能を発揮できないという限界を是正すること。
• 感情関連のポーズや動きに関連する生の視覚的特徴を用いたルールベースの意思決定モデルを開発すること。
• ルールベースの出力と教師あり分類器を統合することで、全体の認識精度を向上させること。
• ハイブリッドシステムの有効性をコーパス内およびコーパス間の感情認識ベンチマークで評価すること。

提案手法

• 顔の動きやポーズに関する人為的アノテータの合意に基づいて、特定の感情に関連するルールが構築された。
• ヘッドポーズ、顔面筋活動、ボディポーズなどの視覚的特徴が、ドメイン知識と先行研究を用いて感情カテゴリにマッピングされた。
• 視覚モodalの評価は、教師あり分類器の出力との融合の前に独立して実施された。
• 最終的な意思決定は、教師あり分類器とルールベースモデルの出力を重み付き統合戦略で統合することで行われた。
• 汎化性能を評価するために、コーパスト内およびコーパス間のテストセットでシステムが評価された。
• ルールベース部は、教師あり学習におけるモデル固有のバイアスに依存するのを減らすために補助的モodalとして設計された。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのモデルは、ドメイン外のテストデータにおいて、教師あり感情認識システムの認識精度を向上させることができるか？
• RQ2 視覚的特徴に基づく手作業のルールは、異なるコーパスで感情を認識する際に、学習された分類器と比べてどのように異なるか？
• RQ3 ルールベース意思決定と教師あり学習を統合することで、感情認識における過学習はどの程度軽減されるか？
• RQ4 訓練データとテストデータが異なるソースから来ている場合、ルールベースモデルの認識性能にどのような影響があるか？
• RQ5 ルールベースモデルは、多様な感情表現やデータ分布において一貫した性能向上を提供できるか？

主な発見

• ルールベースモデルは、コーパスト外のテストデータにおいて顕著に認識精度を向上させ、教師ありモデル単体よりも優れた性能を示した。
• ハイブリッドシステムは、ドメイン外データにおいて高い認識率を達成し、教師ありモデルと比較して過学習が低減していることが示された。
• ルールベースの意思決定は、特に分布シフトによって教師ありモデルの性能が低下した場合でも、安定した性能ベースラインを提供した。
• ルールベースの出力と分類器の統合により、複数の感情カテゴリでF1スコアに顕著な向上が見られた。
• ルールベース部は、さまざまな感情表現において一貫した性能を示し、データ変動に対して頑健であることがわかった。
• 結果から、ルールベースモデルは、マルチモーダル感情認識システムにおける信頼できる補助的モダリティとして機能できる可能性がある。