[論文レビュー] WiFE: WiFi and Vision based Intelligent Facial-Gesture Emotion Recognition

Yu Gu, Xiang Zhang+2 more|arXiv (Cornell University)|Apr 21, 2020

Speech and Audio Processing参考文献 16被引用数 9

ひとこと要約

本論文では、ジェスチャー検出にWiFiチャネル状態情報（CSI）と、ビジョンベースの顔の表情分析を組み合わせた、接触・デバイスフリーの感情認識システムであるWiFEを提案する。Rician K係数理論を用いたWiFi信号の感度向上と、CNN-RNNを用いたスコアレベルの融合によるマルチモーダルデータ統合により、WiFEは7つの感情を83.24%の正確さで識別することができ、単一モダリティ手法を著しく上回る性能を発揮する。

ABSTRACT

Emotion is an essential part of Artificial Intelligence (AI) and human mental health. Current emotion recognition research mainly focuses on single modality (e.g., facial expression), while human emotion expressions are multi-modal in nature. In this paper, we propose a hybrid emotion recognition system leveraging two emotion-rich and tightly-coupled modalities, i.e., facial expression and body gesture. However, unbiased and fine-grained facial expression and gesture recognition remain a major problem. To this end, unlike our rivals relying on contact or even invasive sensors, we explore the commodity WiFi signal for device-free and contactless gesture recognition, while adopting a vision-based facial expression. However, there exist two design challenges, i.e., how to improve the sensitivity of WiFi signals and how to process the large-volume, heterogeneous, and non-synchronous data contributed by the two-modalities. For the former, we propose a signal sensitivity enhancement method based on the Rician K factor theory; for the latter, we combine CNN and RNN to mine the high-level features of bi-modal data, and perform a score-level fusion for fine-grained recognition. To evaluate the proposed method, we build a first-of-its-kind Vision-CSI Emotion Database (VCED) and conduct extensive experiments. Empirical results show the superiority of the bi-modality by achieving 83.24\% recognition accuracy for seven emotions, as compared with 66.48% and 66.67% recognition accuracy by gesture-only based solution and facial-only based solution, respectively. The VCED database download link is https://github.com/purpleleaves007/WIFE-Dataset.

研究の動機と目的

• 単一モダリティの感情認識の限界を克服し、顔の表情と身体のジェスチャーを統合することで、より正確なマルチモーダルな感情検出を実現すること。
• 接触・デバイスフリーの環境下で、一般のWiFi信号の低感度という課題を克服し、ジェスチャー認識を安定的に行えるようにすること。
• 視覚とCSIの両モダリティから得られる異種かつ非同期な二元的データを効果的に統合する戦略を開発し、詳細な感情認識を可能にすること。
• 視覚とCSIに基づく感情認識のためのベンチマークデータセットを確立するため、初のビジョン-CSI感情データベース（VCED）を構築すること。

提案手法

• Rician K係数理論に基づく信号感度向上手法を提案し、WiFi CSI信号からの微細な人体ジェスチャーの検出可能性を向上させる。
• 畳み込みニューラルネットワーク（CNN）を用いて顔の画像から空間的特徴を抽出し、再帰ニューラルネットワーク（RNN）を用いてCSIデータからのジェスチャー時系列の動的変化をモデル化する。
• 顔認識とジェスチャー認識の両ブランチからの信頼度スコアを統合することでスコアレベルの融合を実現し、全体の識別性能を向上させる。
• ビジョンとCSIの両モダリティから同時に学習を行うハイブリッドディープラーニングアーキテクチャを採用し、データの非同期性や異種性に対しても頑健な表現学習を可能にする。
• ビジョンとCSIの両ソースからの高容量かつ非同期な入力を整列・正規化するためのデータ前処理パイプラインを設計する。

実験結果

リサーチクエスチョン

• RQ1 WiFi CSIとビジョンベースの顔の分析を統合したハイブリッドシステムは、単一モダリティ手法に比べて感情認識の正確さを向上させることができるか？
• RQ2 実環境下で、一般のWiFi信号の感度をどのように向上させれば、信頼性の高い接触・デバイスフリーのジェスチャー検出が可能になるか？
• RQ3 視覚とCSIモダリティから得られる異種かつ非同期なデータを、詳細な感情認識に最適な戦略で統合できるか？
• RQ4 マルチモーダル統合は、感情認識システムにおけるバイアスをどれほど低減し、一般化性能を向上させるか？

主な発見

• 提案されたWiFEシステムは、7つの感情を83.24%の正確さで識別することができ、ジェスチャーのみのベースライン（66.48%）および顔の表情のみのベースライン（66.67%）を著しく上回る。
• ビジョンとWiFi CSIの両モダリティの統合により、単一モダリティの解決策に比べて正確さが16.76%絶対的に向上し、マルチモーダル統合の有効性が裏付けられた。
• Rician K係数理論に基づく信号感度向上手法により、WiFi CSIトレース内での微細な人体ジェスチャーの検出可能性が向上し、より信頼性の高いモーショントラッキングが可能になった。
• 両モダリティのCNN-RNN出力のスコアレベル統合は、早期統合や後期統合の戦略に比べて優れた性能を示し、データの非同期性に対しても頑健であることが確認された。
• 新たに作成されたビジョン-CSI感情データベース（VCED）は、今後の研究における貴重なベンチマークを提供しており、データセットはhttps://github.com/purpleleaves007/WIFE-Datasetで公開されている。