[論文レビュー] A Survey on Mobile Affective Computing

Shengkai Zhang, Pan Hui|arXiv (Cornell University)|Oct 7, 2014

Emotion and Mood Recognition参考文献 86被引用数 5

ひとこと要約

本レビューでは、Apple Watch、Google Glass、Fitbitなどのスマートウェアラブルデバイスを用いたモバイル感情認識（mobile affective computing）の最近の進展を概説し、『透過的でない感情』という限界を克服し、現実世界の文脈で自然かつインタラクティブな感情認識を可能にする。モバイルACにおけるモデル、手法、システムを統合的に解説し、主な課題と今後の方向性を提示する。

ABSTRACT

This survey presents recent progress on Affective Computing (AC) using mobile devices. AC has been one of the most active research topics for decades. The primary limitation of traditional AC research refers to as impermeable emotions. This criticism is prominent when emotions are investigated outside social contexts. It is problematic because some emotions are directed at other people and arise from interactions with them. The development of smart mobile wearable devices (e.g., Apple Watch, Google Glass, iPhone, Fitbit) enables the wild and natural study for AC in the aspect of computer science. This survey emphasizes the AC study and system using smart wearable devices. Various models, methodologies and systems are discussed in order to examine the state of the art. Finally, we discuss remaining challenges and future works.

研究の動機と目的

• 伝統的な感情認識において感情が社会的相互作用から孤立して研究されるという『透過的でない感情』の限界を是正すること。
• スマートウェアラブルデバイスが現実世界の社会的文脈において自然で現実的（in-the-wild）な感情研究を可能にする仕組みを検討すること。
• モバイルおよびウェアラブルプラットフォームにおける感情認識の最先端のモデル、手法、システムを調査すること。
• モバイル感情認識分野における未解決の課題を特定し、今後の研究の方向性を提案すること。

提案手法

• スマートフォンおよびウェアラブルデバイスを用いた感情認識に関する最近の文献を系統的レビューすること。
• ウェアラブル環境におけるセンシングモダリティ（例：生理的、行動的、環境的）に基づいて感情認識システムを分類すること。
• 感情認識のための手法を分析し、マルチモーダル統合および文脈に配慮した処理を含むこと。
• 日常生活におけるリアルタイムで継続的かつ目立たない感情認識を実現するシステム設計を評価すること。
• 孤立した感情状態を超えて、感情の社会的およびインタラクティブな側面を捉えるモデルを統合的に提示すること。

実験結果

リサーチクエスチョン

• RQ1 モバイルおよびウェアラブルデバイスは、従来のラボベースのアプローチと比較して、感情の研究をどのようにより自然で生態的妥当性の高いものにしているか？
• RQ2 モバイルウェアラブルデバイスを用いた感情認識システムにおける主な技術的およびメソドロジカルな進歩は何か？
• RQ3 現在のシステムは、社会的およびインタラクティブな文脈を組み込むことで、『透過的でない感情』の課題をどのように克服しているか？
• RQ4 現実世界のモバイル環境に感情認識システムを展開する際の制限要因および未解決の課題は何か？

主な発見

• モバイルおよびウェアラブルデバイスは、制御されたラボ環境の制限を克服し、自然で社会的かつ動的な環境における感情の研究を可能にしている。
• 生理的および行動的信号のマルチモーダル統合により、現実世界の状況下でも感情認識の精度と頑健性が向上している。
• 社会的相互作用や環境要因を考慮する文脈に配慮したシステムは、感情認識アプリケーションにおける関連性と信頼性が向上している。
• 進展は見られるが、データプライバシー、リアルタイム処理、多様な集団および文脈への一般化の面で課題が残っている。