[論文レビュー] Physiological and Affective Computing through Thermal Imaging: A Survey

Youngjun Cho, Nadia Bianchi‐Berthouze|arXiv (Cornell University)|Aug 27, 2019

Emotion and Mood Recognition参考文献 114被引用数 10

ひとこと要約

本調査は、自律神経系の活動に関連する皮膚温の変化を分析することで、接触を伴わない生理的および感情状態のモニタリングに熱画像を用いるものである。熱動画から感情状態への計算パイプラインの概要を提示し、技術的および手法的課題を特定し、低価格の熱カメラを用いた実世界的で普遍的な感情認識コンピューティングへの応用のための今後の研究方向性を提示する。

ABSTRACT

Thermal imaging-based physiological and affective computing is an emerging research area enabling technologies to monitor our bodily functions and understand psychological and affective needs in a contactless manner. However, up to recently, research has been mainly carried out in very controlled lab settings. As small size and even low-cost versions of thermal video cameras have started to appear on the market, mobile thermal imaging is opening its door to ubiquitous and real-world applications. Here we review the literature on the use of thermal imaging to track changes in physiological cues relevant to affective computing and the technological requirements set so far. In doing so, we aim to establish computational and methodological pipelines from thermal images of the human skin to affective states and outline the research opportunities and challenges to be tackled to make ubiquitous real-life thermal imaging-based affect monitoring a possibility.

研究の動機と目的

• 2000年から2019年までの熱画像の生理的および感情認識コンピューティングへの応用に関する文献の系統的レビュー。
• 熱動画データを意味のある感情状態推定に変換するための技術的および手法的要件の同定。
• 皮膚温データから感情状態への計算パイプラインの確立。
• 普遍的で日常的利用可能な熱ベースの感情状態モニタリングを実現するにあたり、研究の空白や課題の特定。
• 低価格でモバイル対応の熱画像を感情認識コンピューティングに導入するための今後の研究機会の概説。

提案手法

• 2000年から2019年までの生理的および感情認識コンピューティングにおける熱画像応用に関する文献の系統的レビュー。
• 生理的サイン（例：顔面温度変化、末梢血流）および感情状態推定に基づく研究の分類。
• 熱カメラの小型化およびコスト低減を含む、熱画像ハードウェアの進化の分析。
• 熱動画シーケンスから特徴量を抽出するために用いられる信号処理および機械学習手法のマッピング。
• データ収集、前処理、特徴抽出、分類の観点から、既存の手法の評価。
• 環境干渉、キャリブレーション、個々の個人間での一般化の難しさといった主な課題の同定。

実験結果

リサーチクエスチョン

• RQ1 熱画像を用いることで、感情的および心理的状態に関連する生理的変化を非侵襲的にどのようにモニタリングできるか？
• RQ2 実世界の感情認識コンピューティング応用に熱画像を展開するにあたり、現在の技術的制限は何であるか？
• RQ3 生の熱動画を感情状態予測に変換するための既存の計算パイプラインは何か？
• RQ4 環境的および生理的変数は、熱ベースの感情状態モニタリングの信頼性にどのように影響するか？
• RQ5 強固で一般化可能かつ普遍的な熱ベースの感情認識コンピューティングシステムを実現するにあたり、未解決の課題は何か？

主な発見

• 熱画像は、特に顔面および末梢部における微細な皮膚温変化を介して、自律神経系反応の接触を伴わないモニタリングを可能にする。
• 顔面温度パターンは、ストレス、不安、認知的負荷といった感情状態と相関しており、制御された実験で測定可能な変化が観察されている。
• 近年の低価格でコンactな熱カメラの進歩により、研究室ベースの応用から実世界応用への移行が可能になった。
• 進展は見られるが、環境への耐性、個人差、さまざまな照明および熱的条件下でのキャリブレーションの難しさといった課題は依然として残っている。
• 標準化されたデータセットや評価プロトコルの欠如が、再現性およびモデルの一般化を妨げている。
• 今後の研究は、リアルタイム処理の向上、個別化、およびマルチモーダルセンシングとの統合に注力する必要がある。