[論文レビュー] Gaze Beyond Limits: Integrating Eye-Tracking and Augmented Reality for Next-Generation Spacesuit Interaction

He, Jiayu, Li, Yifan+5 more|arXiv (Cornell University)|Jan 1, 2025

Gaze Tracking and Assistive Technology被引用数 5

ひとこと要約

本論文は、外観ベースの視線推定を用いて、日常的なスマートフォン利用行動における視線の注目を強固にセンシングおよび定量化する、新しいオフザシェルフのカメラベース手法を提示する。マルチタスク畳み込みニューラルネットワーク（CNN）、カルマンフィルタを組み合わせたアワークラスネットワーク、および適応しきい値処理を統合することで、多様なモバイル環境において、視線接触検出の分野で最先端の性能を達成し、現実世界のHCI研究における新たな注目指標を可能にする。

ABSTRACT

Extravehicular activities (EVAs) are increasingly frequent in human spaceflight, particularly in spacecraft maintenance, scientific research, and planetary exploration. Spacesuits are essential for sustaining astronauts in the harsh environment of space, making their design a key factor in the success of EVA missions. The development of spacesuit technology has traditionally been driven by highly engineered solutions focused on life support, mission adaptability and operational efficiency. Modern spacesuits prioritize maintaining optimal internal temperature, humidity and pressure, as well as withstanding extreme temperature fluctuations and providing robust protection against micrometeoroid impacts and space debris. However, their bulkiness and rigidity impose significant physical strain on astronauts, reducing mobility and dexterity, particularly in tasks requiring fine motor control. The restricted field of view further complicates situational awareness, increasing the cognitive load during high-precision operations. While traditional spacesuits support basic EVA tasks, future space exploration shifting toward long-duration lunar and Martian surface missions demand more adaptive, intelligent, and astronaut-centric designs to overcome current constraints. To explore a next-generation spacesuit, this paper proposed an in-process eye-tracking embedded Augmented Reality (AR) Spacesuit System to enhance astronaut-environment interactions. By leveraging Segment-Anything Models (SAM) and Vision-Language Models (VLMs), we demonstrate a four-step approach to enable top-down gaze detection to minimize erroneous fixation data, gaze-based segmentation of objects of interest, real-time contextual assistance via AR overlays and hands-free operation within the spacesuit. This approach enhances real-time situational awareness and improves EVA task efficiency. We conclude with an exploration of the AR Helmet System’s potential in revolutionizing human-space interaction paradigms for future long-duration deep-space missions and discuss the further optimization of eye-tracking interactions using VLMs to predict astronaut intent and highlight relevant objects preemptively.

研究の動機と目的

• 自然で日常的なスマートフォン利用行動における視線の注目を、非干渉的にセンシングすることを目的とする。
• 特別な目的のための視線追跡装置や、タッチイベントなどの代理指標に依存する従来手法の限界を克服することを目的とする。
• 手動によるアノテーションや外部ハードウェアを一切用いずに、正確で自動的かつ現地での注目状態センシングを可能にすることを目的とする。
• モバイルHCIにおける注目配分の研究に役立つ、新たな実行可能な注目指標を導入することを目的とする。

提案手法

• 特別な視線追跡ハードウェアを必要とせず、スマートフォンのフロントカメラを活用して外観ベースの視線推定を実行する。
• 動的なモバイル環境において、部分的にしか顔が見えない状況でも強固な顔検出を実現するため、マルチタスク畳み込みニューラルネットワーク（CNN）を採用する。
• 高い頭部姿勢の変動にさらされる状況下でも、顔の特徴点検出と頭部姿勢推定の精度を向上させるために、最先端のアワークラスニューラルネットワークとカルマンフィルタを組み合わせる。
• 画像正規化を適用し、一般化性能を向上させるために、大規模なGazeCaptureデータセットを用いて視線推定器をトレーニングする。
• 極端な頭部姿勢下での信頼性の低い視線推定に対応するため、頭部姿勢を代理指標として用いて、適応しきい値処理を実施する。
• 動画データをオフラインで処理し、視線接触イベントを抽出するとともに、見出し回数や注目持続時間といった高レベルの注目指標を導出する。

実験結果

リサーチクエスチョン

• RQ1 内蔵のフロントカメラのみを用いて、自然で日常的なスマートフォン利用行動において、高い精度と頑健性で視線接触を検出できるか？
• RQ2 本手法は、既存のアプローチと比較して、多様なモバイルデバイス、ユーザー、環境条件下でも良好に性能を発揮するか？
• RQ3 連続的な視線接触検出から、現実世界の状況において注目配分を定量化するための新たな注目指標を何らか導出できるか？
• RQ4 頭部姿勢の変動が視線推定の精度に与える影響はどの程度であり、モバイル環境下でその影響をどのように軽減できるか？

主な発見

• 本手法は、2つの公に提供されているデータセットにおいて、視線接触検出の分野で、最先端の手法を顕著に上回り、デバイス、ユーザー、環境要因の変動に対して優れた頑健性を示した。
• 本手法により、見出し回数、注目シフト回数、平均注目持続時間、主な注目焦点といった、新たな注目指標を導出可能であることが明らかになった。
• 頭部姿勢に基づく適応しきい値処理により、極端な姿勢下での性能が向上し、信頼性の低い視線推定に依存するリスクが低減された。
• 本手法は、自然なモバイル利用行動における注目配分のオフライン分析を可能とし、手動アノテーションやイベントベースの代理指標に代わる、完全に自動的かつ代理指標フリーな代替手段を提供する。
• 本手法は、将来的なスマートフォンデバイス上でのリアルタイム展開を可能とし、中断予測、関与度測定、コンテキストに応じたインターフェースなど、新たな応用分野を解放する。
• 本手法により、スマートフォン利用における注目が極めて断片的であることが明らかになった。平均的な注目持続時間は数秒にとどまり、デバイスと環境との間で頻繁に注目が移動している。