[논문 리뷰] An Integrated System for 3D Gaze Recovery and Semantic Analysis of Human Attention

Lucas Paletta, Katrin Santner외 1명|arXiv (Cornell University)|2013. 07. 30.

Robotics and Sensor-Based Localization참고 문헌 8인용 수 4

한 줄 요약

이 논문은 RGB-D SLAM과 기술자 매칭을 활용하여 실시간 3D 시선 복원 및 인간 주의의 의미 분석을 가능하게 하는 통합된 컴퓨터 비전 시스템을 제시한다. 시스템은 환경의 자동 3D 모델을 구축하고 사용자를 그 안에서 국지화하며, 시선 데이터로 관심 영역(ROIs)을 주석 처리함으로써 실제 환경에서 인간 주의의 완전한 3D 매핑을 가능하게 한다.

ABSTRACT

This work describes a computer vision system that enables pervasive mapping and monitoring of human attention. The key contribution is that our methodology enables full 3D recovery of the gaze pointer, human view frustum and associated human centered measurements directly into an automatically computed 3D model in real-time. We apply RGB-D SLAM and descriptor matching methodologies for the 3D modeling, localization and fully automated annotation of ROIs (regions of interest) within the acquired 3D model. This innovative methodology will open new avenues for attention studies in real world environments, bringing new potential into automated processing for human factors technologies.

연구 동기 및 목표

• 자연적이고 비정형적인 환경에서 인간 주의를 광범위하고 실시간으로 모니터링할 수 있도록 하는 것.
• 사용자의 전체 3D 시선 포인터와 시야 범위를 실시간으로 복원하는 것.
• 의미 있는 관심 영역(ROIs)의 주석 처리와 함께 환경의 자동 3D 모델을 생성하는 것.
• 시선 데이터를 3D 장면 기하학과 통합하여 인간 중심의 측정 및 주의 분석을 수행하는 것.
• 실제 환경에서의 3D 주의 매핑을 통해 인간 요인 및 주의 연구의 자동 처리를 지원하는 것.

제안 방법

• 시스템은 실시간으로 환경의 조밀한 3D 재구성을 위한 RGB-D SLAM을 사용한다.
• 사용자의 3D 모델 내 국지화를 정확히 하기 위해 기술자 매칭을 적용한다.
• 단안 또는 스테레오 카메라 데이터와 함께 머리 자세 추정을 활용하여 시선 방향을 추정한다.
• 시각적 기술자와 공간 클러스터링을 사용하여 3D 모델상의 관심 영역(ROIs)을 자동으로 탐지하고 주석 처리한다.
• 의미 분석은 시선 데이터를 주석 처리된 ROIs와 연결하여 3D 공간에서의 주의 매핑을 가능하게 한다.
• 전체 파이프라인은 실시간으로 작동하여 인간 주의의 지속적인 모니터링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적이고 실제 환경에서 실시간으로 정확한 3D 시선 방향을 어떻게 복원할 수 있는가?
• RQ2 RGB-D SLAM과 기술자 매칭이 주의 추적을 위한 견고한 3D 장면 재구성과 사용자 국지화를 가능하게 하는가?
• RQ3 수동 입력 없이 3D 모델상에서 관심 영역(ROIs)을 어떻게 자동으로 탐지하고 주석 처리할 수 있는가?
• RQ4 의미 분석된 시선 데이터를 3D 장면 기하학과 얼마나 잘 통합하여 의미 있는 주의 매핑을 가능하게 할 수 있는가?
• RQ5 이 시스템은 제약이 없는 환경에서 자동으로 실시간 인간 주의 모니터링을 지원할 수 있는가?

주요 결과

• 시스템은 RGB-D SLAM과 머리 자세 및 시선 추정을 조합하여 실시간 3D 시선 복원을 달성한다.
• 기술자 매칭과 공간 클러스터링을 통해 자동 3D 모델링 및 ROI 주석 처리가 이루어지며, 수동 레이블링이 제거된다.
• 시스템은 자동으로 생성된 3D 환경 모델 내에서 인간의 시야 범위와 시선 포인터를 완전히 3D 매핑할 수 있다.
• 의미 분석은 3D 장면 내 주석 처리된 ROIs와 시선 데이터를 연결하여 수행된다.
• 3D 시선 추적와 의미 있는 장면 이해의 통합은 실제 환경에서의 자동 주의 연구에 새로운 가능성을 열어준다.
• 이 접근법은 제약이 없는 환경에서 실시간으로 자동 주의 모니터링을 가능하게 하여 인간 요인 응용 분야를 지원한다.