[論文レビュー] Wearable affect and stress recognition: A review

Philip Schmidt, Attila Reiss+2 more|arXiv (Cornell University)|Nov 21, 2018

Emotion and Mood Recognition参考文献 116被引用数 16

ひとこと要約

本レビューは、生理的およびインertリアルセンサに焦点を当て、ウェアラブルベースの感情およびストレス認識に関する包括的な概要を提供する。心理的モデル、感情状態のセンサベース測定、ラボおよびフィールド研究の手法、データ処理パイプライン、分類技術について詳細に記載し、研究者が現実世界の環境において堅牢で、パーソナライズ可能かつ展開可能なウェアラブル感情認識システムを構築するためのベストプラクティスを提示する。

ABSTRACT

Affect recognition aims to detect a person's affective state based on observables, with the goal to e.g. provide reasoning for decision making or support mental wellbeing. Recently, besides approaches based on audio, visual or text information, solutions relying on wearable sensors as observables (recording mainly physiological and inertial parameters) have received increasing attention. Wearable systems offer an ideal platform for long-term affect recognition applications due to their rich functionality and form factor. However, existing literature lacks a comprehensive overview of state-of-the-art research in wearable-based affect recognition. Therefore, the aim of this paper is to provide a broad overview and in-depth understanding of the theoretical background, methods, and best practices of wearable affect and stress recognition. We summarise psychological models, and detail affect-related physiological changes and their measurement with wearables. We outline lab protocols eliciting affective states, and provide guidelines for ground truth generation in field studies. We also describe the standard data processing chain, and review common approaches to preprocessing, feature extraction, and classification. By providing a comprehensive summary of the state-of-the-art and guidelines to various aspects, we would like to enable other researchers in the field of affect recognition to conduct and evaluate user studies and develop wearable systems.

研究の動機と目的

• ウェアラブルベースの感情およびストレス認識研究に関する包括的概要の不足に対処すること。
• 研究者が感情の心理的モデルとその生理的対応物を詳細に理解できるようにすること。
• ラボおよびフィールド研究の設計に関する実用的ガイドラインを提供すること。これには、グランドトゥースの生成とデータ収集プロTOCOLが含まれる。
• ウェアラブル感情認識におけるデータ前処理、特徴抽出、分類の最先端手法を要約すること。
• 医療およびコンsumerテクノロジー分野における実生活応用のための、堅牢で、パーソナライズ可能かつ展開可能な感情認識システムの開発を促進すること。

提案手法

• 感情状態検出の根拠とするために、次元的（喜び、覚醒、価値）およびカテゴリー的モデルを含む感情の心理的モデルをレビューする。
• 心拍変動、電気皮膚反応、呼吸など、感情状態に関連する生理的変化と、ウェアラブルセンサによるその測定法を詳細に記載する。
• 制御された感情状態を誘発するための標準化されたラボプロトコル（例：IAPS、音楽、動画）を提示する。
• フィールド研究におけるグランドトゥース生成のガイドラインを提供する。これには、ユーザーの自己報告、アクティブラベリング、文脈的情報の統合が含まれる。
• 標準的なデータ処理チェーンを記述する：前処理（フィルタリング、セグメンテーション）、特徴抽出（時間領域、周波数領域、時間周波数領域の特徴）、分類（例：kNN、SVM、ディープラーニング）。
• オンライン学習、半教師あり学習、トランスファー学習などの新たな手法動向について議論し、現実世界環境におけるパーソナライズおよび適応性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルセンシングにおいて、感情状態を定義およびラベル付けするために使用できる、最も関連性の高い感情の心理的モデルは何か？
• RQ2 ウェアラブル環境において、感情状態およびストレス状態の信頼性の高い指標として、どの生理的およびインエラリアル信号が最も適しているか？
• RQ3 感情認識のための、有効かつ信頼性の高いグランドトゥースを、現実世界の制約のあるフィールド研究でどのように収集できるか？
• RQ4 ウェアラブル感情認識システムにおける、データ前処理、特徴抽出、分類のベストプラクティスは何か？
• RQ5 長期的展開において、パーソナライズ可能で適応可能な感情認識を可能にするために、どのような手法的進展（例：オンライン学習、トランスファー学習）が必要か？

主な発見

• 心拍変動、電気皮膚反応、インエラリアル信号を測定するウェアラブルセンサは、感情状態およびストレス状態の信頼性の高い継続的指標を提供する。
• 生理的および文脈的情報を統合するマルチモーダルアプローチは、単一モーダルシステムと比較して、認識精度を最大10%向上させる。
• フィールド研究は現実世界への適用性にとって不可欠であり、そのような環境でのグランドトゥース生成には、ユーザーの自己報告および文脈的情報統合を含む、注意深い設計が必要である。
• 進展は見られるものの、現在の大多数のシステムはオンライン学習や半教師あり学習といったパーソナライズ技術を活用していない。これは重要な研究ギャップである。
• ディープニューラルネットワークは、エンドツーエンドの特徴学習と分類において強力な可能性を示しているが、高い計算負荷のため、展開に課題を伴う。
• ストレスと環境要因との相関関係を特定する長期的感情推論は、ユーザーの自己認識を高め、行動変容を支援する上で有望である。