[論文レビュー] Emotion Recognition From Gait Analyses: Current Research and Future Directions

Shihao Xu, Jing Fang+5 more|arXiv (Cornell University)|Mar 13, 2020

Gait Recognition and Analysis参考文献 78被引用数 12

ひとこと要約

この論文は歩行に基づく感情認識をレビューし、歩行の運動学的特性が感情状態を反映することを強調するとともに、歩行分析を用いた自動感情検出のためのフレームワークを提案する。歩行は顔や発話に基づく手法に比べ、遠隔で観測可能で、侵襲的でなく、模倣が難しいという利点を有しており、データ収集から深層学習分類に至るまでの主要な技術的要素を概説する。本稿では、実世界の応用における精度とリアルタイム性能を向上させるために、大規模なデータセットと知能的な計算手法の開発を提言する。

ABSTRACT

Human gait refers to a daily motion that represents not only mobility, but it can also be used to identify the walker by either human observers or computers. Recent studies reveal that gait even conveys information about the walker's emotion. Individuals in different emotion states may show different gait patterns. The mapping between various emotions and gait patterns provides a new source for automated emotion recognition. Compared to traditional emotion detection biometrics, such as facial expression, speech and physiological parameters, gait is remotely observable, more difficult to imitate, and requires less cooperation from the subject. These advantages make gait a promising source for emotion detection. This article reviews current research on gait-based emotion detection, particularly on how gait parameters can be affected by different emotion states and how the emotion states can be recognized through distinct gait patterns. We focus on the detailed methods and techniques applied in the whole process of emotion recognition: data collection, preprocessing, and classification. At last, we discuss possible future developments of efficient and effective gait-based emotion recognition using the state of the art techniques on intelligent computation and big data.

研究の動機と目的

• 歩行に基づく感情認識に関する現在の研究を体系的にレビューし、感情状態が歩行パターンにどのように影響を与えるかに焦点を当てる。
• 歩行データの収集、前処理、特徴抽出、分類における技術的課題を特定する。
• 歩行が感情検出のための非侵襲的で遠隔的かつ模倣が難しいバイオメトリクス的手法としての可能性を検討する。
• 知能的な計算とビッグデータを活用した今後の研究方向性を提案し、モデルの汎化性能とリアルタイム性能を向上させる。
• 強力な深層学習のトレーニングを支援するため、大規模で多様性があり、マルチビューの歩行データセットの開発を提言する。

提案手法

• 歩行の運動学的パラメータ（歩幅、サイクル期間、二重支持時間など）を感情状態の指標として用いる。
• ノイズ低減と正規化などのデータ前処理技術を適用し、感情関連分析のための信号品質を向上させる。
• 識別性の高い歩行パターンを抽出するために、特徴選択および次元削減手法を採用する。
• 空間的・時間的歩行ダイナミクスを捉えるために、3次元畳み込みニューラルネットワーク（3D CNN）とLSTMを組み合わせたC3D+ConvLSTMなどの深層学習モデルを用いる。
• RGBおよびRGB-Dデータを含むマルチビュー・マルチモーダルデータを統合し、環境条件の変化に強いモデルの構築を図る。
• 監視環境における複数人の歩行者を扱うために、並列的なターゲットセグメンテーション技術を提案し、時間経過に伴う身元の一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 抑うつ状態や喜びといった異なる感情状態は、測定可能な歩行の運動学的パラメータにどのように現れるか？
• RQ2 歩行データの収集、前処理、分類における感情認識のための主な技術的課題は何か？
• RQ3 深層ニューラルネットワークを効果的に統合することで、歩行ベースの感情分類の精度と頑健性をどのように向上させられるか？
• RQ4 大規模で多様性があり、マルチビューの歩行データは、汎化可能な感情認識モデルのトレーニングに果たす役割は何か？
• RQ5 公共の監視環境において、歩行からのリアルタイムでオンラインの感情予測を達成するための計算的・実用的障壁は何か？

主な発見

• 抑うつ状態の被験者は、非抑うつ対照群と比較して著しく遅い歩行、短い歩幅、短い二重支持時間を示す。
• 人間の観察者でさえ、ポイントライト表示からの歩行パターンによっても感情を信頼性高く認識できることから、歩行運動学的特性に内在する感情的側面が存在することが示唆される。
• 歩行ベースの感情認識は、顔や発話に基づく手法に比べ、遠隔観測が可能で、協力が不要であり、模倣に強く、利点を有する。
• C3D+ConvLSTMのようなハイブリッド深層学習アーキテクチャは、空間的および時間的特徴学習を統合することで、動き認識タスクで優れた性能を発揮する。
• 人間ID歩行チャレンジのような大規模でマルチビュー・マルチコンディションのデータセットは、包括的な感情-歩行データセット構築のための基盤となる。
• 深層ネットワークの計算負荷が高く、特にリアルタイム推論に効率的な手法が求められるため、歩行からのオンライン感情予測は依然として挑戦的である。