[論文レビュー] Continuous Mental Effort Evaluation during 3D Object Manipulation Tasks based on Brain and Physiological Signals

Dennis Wobrock, Jérémy Frey+4 more|arXiv (Cornell University)|May 29, 2015

Gaze Tracking and Assistive Technology参考文献 29被引用数 4

ひとこと要約

本論文は、3次元オブジェクト操作中の精神的負荷をEEG、ECG、GSR信号を用いて連続的で客観的な評価を提案する。実時間での精神的負荷推定が可能であり、ユーザーの中断を伴わずに3次元ユーザインターフェースの使いやすさを細分化して評価できることを示している。

ABSTRACT

Designing 3D User Interfaces (UI) requires adequate evaluation tools to ensure good usability and user experience. While many evaluation tools are already available and widely used, existing approaches generally cannot provide continuous and objective measures of usa-bility qualities during interaction without interrupting the user. In this paper, we propose to use brain (with ElectroEncephaloGraphy) and physiological (ElectroCardioGraphy, Galvanic Skin Response) signals to continuously assess the mental effort made by the user to perform 3D object manipulation tasks. We first show how this mental effort (a.k.a., mental workload) can be estimated from such signals, and then measure it on 8 participants during an actual 3D object manipulation task with an input device known as the CubTile. Our results suggest that monitoring workload enables us to continuously assess the 3DUI and/or interaction technique ease-of-use. Overall, this suggests that this new measure could become a useful addition to the repertoire of available evaluation tools, enabling a finer grain assessment of the ergonomic qualities of a given 3D user interface.

研究の動機と目的

• 3次元オブジェクト操作タスクにおける精神的負荷を、連続的で侵襲的でない方法で評価する手法の開発。
• 脳および生理的信号を用いた精神的負荷の客観的指標としての実時間インタラクションにおける妥当性の評価。
• タスクの中断を要しない従来の使いやすさ評価手法の補完的ツールとしての提供。
• 生理的負荷測定を用いた3次元ユーザインターフェースおよびインタラクション技術のエルゴノミクス的品質の評価。
• CubTileデバイスを用いて3次元操作タスクを実行した参加者からの実証データを用いたアプローチの妥当性の検証。

提案手法

• 3次元オブジェクト操作タスク中に脳活動を捉えるために電気脳波（EEG）を用いた。
• 精神的負荷に関連する自律神経系活動を評価するため、心電図（ECG）および皮膚電気反応（GSR）信号を収集した。
• 生理的信号を連続的な精神的負荷推定値にマップする回帰ベースのアプローチを採用した。
• 8名の参加者を対象に、CubTileを3次元入力デバイスとして用いた実験を実施し、オブジェクト操作タスクを実行させた。
• 生理的データの信頼性の高い負荷推定のため、信号の前処理および特徴抽出技術を適用した。
• 生理的信号と主観的負荷評価との間の相関分析を用いて、精神的負荷推定モデルの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 3次元オブジェクト操作中の精神的負荷は、EEG、ECG、GSR信号を用いて連続的に推定可能か？
• RQ2 3次元インタラクションタスクにおいて、生理的信号と主観的負荷評価との相関はどの程度高いか？
• RQ3 生理的ベースの負荷推定は、従来の使いやすさ評価手法の信頼できる代替手段としてどの程度有効か？
• RQ4 このアプローチは、3次元操作タスクの異なるフェーズや難易度レベルにおける負荷の変動を検出できるか？
• RQ5 この手法は、リアルタイムでインタラクション技術の使いやすさの差を検出できるほど十分に感度が高いか？

主な発見

• 提案手法は、3次元オブジェクト操作中にEEG、ECG、GSR信号を用いて精神的負荷をリアルタイムで推定することに成功した。
• 推定された精神的負荷と主観的負荷評価との間に有意な相関が確認され、アプローチの妥当性が裏付けられた。
• 生理的信号は、ユーザーの中断やタスク終了後のアンケートを要しない連続的負荷モニタリングを可能にした。
• システムは、タスクの異なるフェーズにおける負荷の変動を検出でき、タスク難易度の変化に敏感であることが示された。
• 結果から、この手法は従来の使いやすさ評価手法に対する細分化された客観的補足手段として有効であると考えられる。
• マルチモーダルな生理的信号の使用により、単一信号アプローチに比べ、負荷推定の信頼性と正確性が向上した。