[논문 리뷰] Gaze Beyond Limits: Integrating Eye-Tracking and Augmented Reality for Next-Generation Spacesuit Interaction

He, Jiayu, Li, Yifan외 5명|arXiv (Cornell University)|2025. 01. 01.

Gaze Tracking and Assistive Technology인용 수 5

한 줄 요약

이 논문은 내장된 카메라와 기계학습을 활용하여 일상적인 스마트폰 상호작용 중에 비침습적으로 시각적 주의를 탐지하고 정량화하는 새로운 오프더쇼프 캠기반 방법을 제안한다. 외관 기반 시선 추정을 통해 다중 작업 CNN, 칼만 필터를 적용한 아워글라스 네트워크, 적응형 임계값 처리를 통합함으로써, 다양한 이동 환경에서 상태 최고 수준의 눈맞춤 탐지 성능을 달성하며, 실제 환경의 HCI 연구를 위한 새로운 주의 지표를 가능하게 한다.

ABSTRACT

Extravehicular activities (EVAs) are increasingly frequent in human spaceflight, particularly in spacecraft maintenance, scientific research, and planetary exploration. Spacesuits are essential for sustaining astronauts in the harsh environment of space, making their design a key factor in the success of EVA missions. The development of spacesuit technology has traditionally been driven by highly engineered solutions focused on life support, mission adaptability and operational efficiency. Modern spacesuits prioritize maintaining optimal internal temperature, humidity and pressure, as well as withstanding extreme temperature fluctuations and providing robust protection against micrometeoroid impacts and space debris. However, their bulkiness and rigidity impose significant physical strain on astronauts, reducing mobility and dexterity, particularly in tasks requiring fine motor control. The restricted field of view further complicates situational awareness, increasing the cognitive load during high-precision operations. While traditional spacesuits support basic EVA tasks, future space exploration shifting toward long-duration lunar and Martian surface missions demand more adaptive, intelligent, and astronaut-centric designs to overcome current constraints. To explore a next-generation spacesuit, this paper proposed an in-process eye-tracking embedded Augmented Reality (AR) Spacesuit System to enhance astronaut-environment interactions. By leveraging Segment-Anything Models (SAM) and Vision-Language Models (VLMs), we demonstrate a four-step approach to enable top-down gaze detection to minimize erroneous fixation data, gaze-based segmentation of objects of interest, real-time contextual assistance via AR overlays and hands-free operation within the spacesuit. This approach enhances real-time situational awareness and improves EVA task efficiency. We conclude with an exploration of the AR Helmet System’s potential in revolutionizing human-space interaction paradigms for future long-duration deep-space missions and discuss the further optimization of eye-tracking interactions using VLMs to predict astronaut intent and highlight relevant objects preemptively.

연구 동기 및 목표

• 자연스럽고 일상적인 스마트폰 상호작용 중에 침습적이지 않게 시각적 주의를 감지하는 방법을 개발하는 것.
• 특수 목적의 시선 추적 장치나 터치 이벤트와 같은 대체 지표에 의존하는 기존 방법의 한계를 극복하는 것.
• 수동 주석 처리나 외부 하드웨어 없이도 정확하고 자동으로, 현장에서 주의를 감지할 수 있도록 하는 것.
• 이동형 HCI에서 주의 배분을 연구하기 위한 새로운 실용적 주의 지표를 도입하는 것.

제안 방법

• 특수 시선 추적 하드웨어가 필요 없도록 스마트폰의 전면 카메라를 활용해 외관 기반 시선 추정을 수행한다.
• 다양한 동적 이동 환경에서 부분적으로 노출된 얼굴에 대해서도 강력한 얼굴 감지를 위한 다중 작업 CNN을 활용한다.
• 고도로 변형된 머리 자세 조건에서도 얼굴 특징점 탐지 및 머리 자세 추정 성능을 향상시키기 위해 최신 기술인 아워글라스 신경망과 칼만 필터를 조합한다.
• 이미지 정규화를 적용하고, 일반화 성능 향상을 위해 대규모 GazeCapture 데이터셋을 기반으로 시선 추정기 학습을 수행한다.
• 극단적인 머리 자세에서 신뢰할 수 없는 시선 추정을 처리하기 위해 적응형 임계값 처리를 적용하며, 필요에 따라 머리 자세를 대체 지표로 사용한다.
• 비디오 데이터를 오프라인으로 처리하여 눈맞춤 이벤트를 추출하고, 눈길 잠깐 보기 횟수, 주의 지속 시간과 같은 고차원 주의 지표를 유도한다.

실험 결과

연구 질문

• RQ1 내장된 전면 카메라만을 사용하여 자연스럽고 일상적인 스마트폰 상호작용 중에 높은 정확도와 강건성을 갖춘 눈맞춤 탐지가 가능한가?
• RQ2 기존 접근 방식과 비교해 복잡한 이동 기기, 사용자, 환경 조건에서 제안된 방법의 성능은 어떠한가?
• RQ3 지속적인 눈맞춤 탐지에서 유도할 수 있는 새로운 주의 지표는 무엇이며, 이를 통해 실제 환경에서 주의 배분을 어떻게 정량화할 수 있는가?
• RQ4 머리 자세의 변동성이 시선 추정 정확도에 어떤 영향을 미치며, 이를 이동 환경에서 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법은 공개된 두 개의 데이터셋에서 상태 최고 수준의 눈맞춤 탐지 성능을 확보하며, 기기, 사용자, 환경의 다양성에 대한 강건성 향상이 뚜렷하다.
• 눈길 잠깐 보기 횟수, 주의 이동 횟수, 평균 주의 지속 시간, 주요 주의 집중 영역과 같은 새로운 주의 지표를 도출할 수 있다.
• 머리 자세 기반 적응형 임계값 처리가 극단적인 자세에서 성능 향상에 기여하며, 정확도가 떨어질 수 있는 시선 추정에 대한 의존도를 감소시킨다.
• 자신의 주의 배분을 오프라인 분석할 수 있도록 지원하며, 수동 주석 처리나 이벤트 기반 대체 지표 없이 완전히 자동화된, 프록시 없는 대안을 제공한다.
• 향후 스마트폰 기기에서 실시간 구현이 가능해져, 간섭 예측, 참여도 측정, 맥락 인식 인터페이스 등 새로운 애플리케이션을 열어줄 수 있다.
• 이 방법은 스마트폰 사용에서 주의가 매우 분산되어 있음을 드러내며, 평균 주의 지속 시간은 몇 초에 불과하고, 기기와 환경 사이를 빈번히 이동함을 확인한다.