[논문 리뷰] A Computer Vision System for Attention Mapping in SLAM based 3D Models

Lucas Paletta, Katrin Santner외 5명|arXiv (Cornell University)|2013. 05. 06.

Robotics and Sensor-Based Localization참고 문헌 20인용 수 6

한 줄 요약

이 논문은 RGB-D 센서를 사용하여 SLAM에 의해 생성된 3D 환경 내에서 실시간 3D 시선 추적 및 주의 맵핑을 가능하게 하는 실시간 컴퓨터 비전 시스템을 제시한다. RGB-D SLAM과 기술자 매칭을 결합함으로써, 시스템은 자동으로 재구성된 3D 모델 내에서 시선 방향, 시야 원뿔, 그리고 관심 영역(ROI) 애너테이션을 직접 전면적으로 복원한다. 이는 실제 환경에서 인간 요인 분석을 자동화하는 데 기여한다.

ABSTRACT

The study of human factors in the frame of interaction studies has been relevant for usability engi-neering and ergonomics for decades. Today, with the advent of wearable eye-tracking and Google glasses, monitoring of human factors will soon become ubiquitous. This work describes a computer vision system that enables pervasive mapping and monitoring of human attention. The key contribu-tion is that our methodology enables full 3D recovery of the gaze pointer, human view frustum and associated human centred measurements directly into an automatically computed 3D model in real-time. We apply RGB-D SLAM and descriptor matching methodologies for the 3D modelling, locali-zation and fully automated annotation of ROIs (regions of interest) within the acquired 3D model. This innovative methodology will open new avenues for attention studies in real world environments, bringing new potential into automated processing for human factors technologies.

연구 동기 및 목표

• 워치형 시선 추적기와 RGB-D 센서를 사용하여 자연 환경에서 실시간으로 3D 인식 주의 맵핑을 가능하게 하기 위해.
• 실제 환경에서 인간 요인 연구를 위한 통합된 3D 시선 추적 및 공간 애너테이션의 부족을 해결하기 위해.
• 컴퓨터 비전 기법을 사용하여 3D 모델 내 관심 영역(ROIs)의 자동 탐지 및 레이블링을 가능하게 하기 위해.
• 시선 데이터를 SLAM 기반 3D 재구성과 통합하여 정밀하고 인간 중심의 공간 측정을 가능하게 하기 위해.

제안 방법

• 시스템은 RGB-D SLAM을 사용하여 환경의 고밀도 실시간 3D 재구성을 수행한다.
• 캘리브레이션된 시력-카메라 기하학을 사용하여 단안 시선 추적 데이터에서 유도된 시선 방향을 3D 공간으로 투영한다.
• 눈에 보이는 특징 간의 매칭(예: SIFT 또는 유사 기술)을 적용하여 눈으로 추적된 장면과 3D 모델 간의 국소화를 수행한다.
• 시선 농도 및 정지 패턴을 기반으로 3D 모델 내에서 관심 영역(ROIs)을 자동으로 탐지하고 애너테이션한다.
• 시스템은 3D 공간에서 인간의 시야 원뿔을 계산하여 시각적 주의의 공간 분석을 가능하게 한다.
• 모든 처리 과정은 실시간으로 수행되어 동적인 실제 환경에서 주의 지속 모니터링이 가능하다.

실험 결과

연구 질문

• RQ1 SLAM을 통해 재구성된 3D 환경에 시선 데이터를 정확하게 맵핑하여 공간적 주의 분석을 수행할 수 있는가?
• RQ2 시선 추적 및 시각적 특징을 활용하여 3D 모델에서 실시간으로 완전 자동 ROI 애너테이션을 가능하게 하는 기법은 무엇인가?
• RQ3 워치형 시선 추적기와 RGB-D 데이터로부터 3D 공간에서 시선 방향과 시야 원뿔을 회복할 수 있는가?
• RQ4 실제 3D 장면 내에서 주의 패턴을 정량적으로 측정하고 시각화할 수 있는가? 인간 요인 평가를 위한 것이다.
• RQ5 SLAM과 시선 추적을 통합하여 비정형 환경에서 자동으로 실시간 주의 맵핑을 수행할 수 있는가의 가능성은 무엇인가?

주요 결과

• 시스템은 SLAM에 의해 생성된 3D 모델 내에서 실시간으로 시선 방향과 시야 원뿔을 정확히 복원하는 데 성공하였다.
• 기술자 매칭과 시선 패턴 클러스터링을 통해 자동으로 ROI 탐지 및 애너테이션을 가능하게 하였다.
• 이 방법은 3D 환경 내에서 직접적으로 완전 자동화된 인간 중심의 공간 측정을 지원한다.
• 시선 추적과 RGB-D SLAM의 통합은 실제 환경에서 지속적이고 맥락 인식 주의 맵핑을 가능하게 하였다.
• 이 접근법은 특히 사용성 공학 및 인체공학 분야에서 자동화된 인간 요인 분석의 새로운 응용 가능성을 열었다.
• 시스템은 자연적이고 동적인 환경에서 광범위한 주의 모니터링의 가능성을 입증하였다.