[논문 리뷰] How do people explore virtual environments?

Vincent Sitzmann, Ana Serrano외 5명|arXiv (Cornell University)|2016. 12. 13.

Visual Attention and Saliency Detection참고 문헌 58인용 수 15

한 줄 요약

이 논문은 몰입형 가상현실(VR) 환경에서 인간의 시각적 탐색을 대규모로 연구한 것으로, HMD에서 서서, 앉아서, 데스크톱에서의 세 가지 시각 조건에서 총 169명의 사용자로부터 1980개의 시선 및 머리 움직임 경로를 기록하였다. 연구에서는 기존 2D 시각화에서 관찰되지 않는 VR 내에서의 고정 시선 편향을 규명하였으며, 머리 움직임만으로도 높은 정확도로 시각적 주목을 예측할 수 있음을 보여주었고, 데이터 기반의 통찰과 적응형 시각적 주목 모델을 통해 새로운 VR 응용 분야인 시각적 주목 기반 압축 및 자동 비디오 요약을 가능하게 하였다.

ABSTRACT

Understanding how people explore immersive virtual environments is crucial for many applications, such as designing virtual reality (VR) content, developing new compression algorithms, or learning computational models of saliency or visual attention. Whereas a body of recent work has focused on modeling saliency in desktop viewing conditions, VR is very different from these conditions in that viewing behavior is governed by stereoscopic vision and by the complex interaction of head orientation, gaze, and other kinematic constraints. To further our understanding of viewing behavior and saliency in VR, we capture and analyze gaze and head orientation data of 169 users exploring stereoscopic, static omni-directional panoramas, for a total of 1980 head and gaze trajectories for three different viewing conditions. We provide a thorough analysis of our data, which leads to several important insights, such as the existence of a particular fixation bias, which we then use to adapt existing saliency predictors to immersive VR conditions. In addition, we explore other applications of our data and analysis, including automatic alignment of VR video cuts, panorama thumbnails, panorama video synopsis, and saliency-based compression.

연구 동기 및 목표

• 사용자가 입체적이고 정적인 파노라마 환경에서 몰입형 가상현실 환경을 어떻게 탐색하는지, 특히 머리 움직임과 시선의 역할을 이해하기 위해.
• VR 환경 내 행동 패턴을 분석하고 기존 데스크톱 시각 조건과 비교하기 위해.
• 기존의 시각적 주목 예측 모델을 VR 응용 분야에 적응시키고 평가하기 위해.
• 시각적 주목 통찰을 활용하여 썸네일 생성, 비디오 요약, 압축과 같은 실용적인 VR 응용 분야를 개발하기 위해.
• 미래 연구를 위해 공개 가능한 머리 및 시선 경로 데이터셋을 제공하기 위해.

제안 방법

• HMD와 데스크톱 모니터를 사용하여 세 가지 조건(서서 VR, 앉아서 VR, 데스크톱 시각화)에서 총 169명의 참가자로부터 1980개의 머리 및 시선 경로를 수집하였다.
• 입체적이고 전방위적인 파노라마 환경에서 눈 추적 기능과 관성 센서를 갖춘 HMD를 사용하여 시선 및 머리 방향 데이터를 기록하였다.
• 스캔패스를 분석하여 고정 시선 편향, 시각적 주목 모드(주의 vs 재정렬), 시각적 탐색의 시간적 동역학을 규명하였다.
• 원래 좁은 시야각의 2D 영상에 대해 설계된 기존의 시각적 주목 예측 모델을 VR 환경에 적응시키기 위해 머리 움직임과 장면의 시각적 주목 특성 통계를 통합하였다.
• 눈 추적 기술 없이도 머리 방향 데이터만으로도 높은 정확도로 시각적 주목을 예측할 수 있음을 입증하였으며, 이는 고비용의 눈 추적 기술 의존도를 줄일 수 있음을 시사한다.
• 유도된 행동 모델을 기반으로 자동 파노라마 썸네일 생성, VR 비디오 요약, 시각적 주목 기반 압축과 같은 응용 분야를 개발하고 평가하였다.

실험 결과

연구 질문

• RQ1 사용자의 시각적 탐색 행동이 시선 및 머리 움직임 측면에서 몰입형 VR 환경과 기존 데스크톱 시각 조건 간에 어떻게 다를까?
• RQ2 직접적인 시선 추적 없이 머리 움직임만으로도 VR 환경에서 시각적 주목을 얼마나 정확하게 예측할 수 있을까?
• RQ3 장면 수준의 시각적 주목 분포가 VR 환경에서 사용자 주의 패턴에 어떤 영향을 미치는가?
• RQ4 2D 데이터에서 학습된 기존의 시각적 주목 모델은 입체적이고 전방위적인 VR 파노라마 환경에 효과적으로 적응시킬 수 있는가?
• RQ5 사용자 주의의 시간적 동역학은 어떻게 되며, 이러한 패턴은 시간이 지남에 따라 얼마나 안정적인가?

주요 결과

• 입체적이고 운동학적 제약로 인해 발생하는 VR 내에서의 고정 시선 편향이 기존 2D 시각화에서는 관찰되지 않으며, 이는 사용자가 특정 영역을 체계적으로 고정하여 주시함을 시사한다.
• 머리 방향 데이터만으로도 높은 정확도로 시각적 주목을 예측할 수 있으며, 이는 많은 VR 응용 분야에서 눈 추적 기술이 필요하지 않음을 시사한다.
• 새로운 장면에 노출된 이후 몇 초 내로 시각적 주목 예측 정확도가 가장 높으며, 이후에는 사용자 간 변동성이 크게 증가한다.
• 장면 내 시각적 주목 영역의 수가 주의 집중에 큰 영향을 미친다: 시각적 주목 영역이 적을수록 더 빠르고 집중적으로 주의가 분포된다.
• 머리 및 시선 움직임 패tern을 기반으로 실시간으로 두 가지 유형의 시각적 탐색 모드(주의 및 재정렬)를 식별할 수 있으며, 이는 상호작용형 응용 분야를 가능하게 한다.
• 기존의 시각적 주목 모델은 최소한의 수정만으로도 VR 환경에 적응시킬 수 있으며, 제안된 데이터셋을 통해 VR 비디오 압축 및 썸네일 생성과 같은 응용 분야에서 성능 향상을 이룰 수 있다.