[論文レビュー] MIDAS: Deep learning human action intention prediction from natural eye movement patterns

Paul Festor, Ali Shafti+4 more|arXiv (Cornell University)|Jan 22, 2022

Gaze Tracking and Assistive Technology被引用数 4

ひとこと要約

この論文では、視線と物体位置のデータのみを用いて、自然な目動画パターンから人間の行動意図を予測する深層学習モデルMIDASを提案する。双方向LSTMを用いて視線の動的変化を時系列としてモデル化することで、視線ジェスチャーや滞在時間の必要なしに、操作 vs. 檢査の意図を91.9％の正確度で分類する。これは、自然な視線をゼロUIインタフェースとして利用可能であることを示している。

ABSTRACT

Eye movements have long been studied as a window into the attentional mechanisms of the human brain and made accessible as novelty style human-machine interfaces. However, not everything that we gaze upon, is something we want to interact with; this is known as the Midas Touch problem for gaze interfaces. To overcome the Midas Touch problem, present interfaces tend not to rely on natural gaze cues, but rather use dwell time or gaze gestures. Here we present an entirely data-driven approach to decode human intention for object manipulation tasks based solely on natural gaze cues. We run data collection experiments where 16 participants are given manipulation and inspection tasks to be performed on various objects on a table in front of them. The subjects' eye movements are recorded using wearable eye-trackers allowing the participants to freely move their head and gaze upon the scene. We use our Semantic Fovea, a convolutional neural network model to obtain the objects in the scene and their relation to gaze traces at every frame. We then evaluate the data and examine several ways to model the classification task for intention prediction. Our evaluation shows that intention prediction is not a naive result of the data, but rather relies on non-linear temporal processing of gaze cues. We model the task as a time series classification problem and design a bidirectional Long-Short-Term-Memory (LSTM) network architecture to decode intentions. Our results show that we can decode human intention of motion purely from natural gaze cues and object relative position, with $91.9\%$ accuracy. Our work demonstrates the feasibility of natural gaze as a Zero-UI interface for human-machine interaction, i.e., users will only need to act naturally, and do not need to interact with the interface itself or deviate from their natural eye movement patterns.

研究の動機と目的

• 視線ベースのヒューマンマシンインタフェースにおけるMidasのタッチ問題を克服するため、意図を意図的な視線ジェスチャーや滞在時間の必要なしに、自然な視線の兆候から解読すること。
• 自然な目動画パターンのみ（人工的なタスク制約なしに）が、人物が物体を操作するか、検査するかの意図を信頼性高く予測できるかどうかを調査すること。
• 時系列的な視線と物体の関係性を活用した、データ駆動型でエンドツーエンドの深層学習フレームワークを構築すること。
• 意図予測が、単なる空間的凝視パターンや単純なヒューリスティクスに還元可能かどうかではなく、非線形的時系列処理に依存しているかどうかを検証すること。
• ユーザーが視線行動やインタラクションを変更しなくてもよい、自然な方法で相互作用できるゼロUIインタラクションパラダイムを確立すること。

提案手法

• 16名の参加者が、ウェアラブル眼動測定装置を用いて、自然で頭部フリーな環境で操作および検査タスクを実行したエゴセントリック眼動測定データを収集した。
• シーン内の物体を検出し、局所化するためのSemantic Foveaモデルを用い、各フレームにおける視線位置からの物体の空間的関係を計算した。
• 視線データ（約120Hz）の高分解能に合わせて、最大100点（約0.8秒のギャップ）の物体位置データを補間し、物体検出の失敗と物体の不在を区別した。
• 全試行を、音声指示終了後3.33秒の均一な時間窓にカットして、試行時間の差によるバイアスを排除した。
• 視線-物体シーケンスの時系列的依存性をモデル化するため、双方向LSTMベースのアーキテクチャ（2×256LSTM層、アテンション、ReLUおよびシグモイド活性化関数を用いた3層の全結合層）を設計した。
• 200エポックにわたり、Adam最適化法（初期値学習率：2.5×10⁻⁴）を用いた二値交差エントロピー損失関数でモデルを学習し、汎用性を確保するためk分割交差検証および1人を除いた交差検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 意図的な視線ジェスチャーや滞在時間の必要なしに、自然で制約のない視線パターンから、人間の行動意図（操作 vs. 檢査）を正確に予測できるか？
• RQ2 意図予測が、非線形的時系列処理に依存しているのか、それとも単純な空間的凝視パターンに還元可能か？
• RQ3 タスク説明の長さや名前が付いた物体の数といった、混同要因が意図予測モデルにどの程度バイアスを及えるか？
• RQ4 手作業で特徴を抽出しないで、生の視線および物体位置シーケンスから学習した深層学習モデルが、高い正確度で意図を復元できるか？
• RQ5 ユーザーが視線行動を変える必要なく、自然に相互作用できるゼロUIインタフェースを構築することは可能か？

主な発見

• MIDASは、自然な視線トレースと物体位置のみを用いて、人間の行動意図（操作 vs. 檢査）を91.9％の正確度で分類した。
• 距離特徴のみで学習したベースライン分類器よりも、モデルの性能が顕著に優れており、意図予測が単なる空間的近接性ではなく、複雑な時系列的ダイナミクスに依存していることが示された。
• 長いタスク説明によるバイアスは、音声指示終了後3.33秒の均一な時間窓に切り詰めることで緩和され、長さに基づく手がかりが予測に影響しなくなった。
• 1人を除いた交差検証により、被験者間での堅牢性が確認され、未観測ユーザーへの一般化が可能であることが示された。
• 視線シーケンスの非線形的時系列モデリングが、意図復元に不可欠であることが明らかになった。単純な空間的凝視や静的凝視に基づくモデルは、性能が著しく低かった。
• 結果として、自然な視線をゼロUIインタフェースとして使用することが可能であることが妥当化された。ユーザーはシステムと相互作用するにあたり、視線行動を変更する必要がない。