[論文レビュー] How do people explore virtual environments?

Vincent Sitzmann, Ana Serrano+5 more|arXiv (Cornell University)|Dec 13, 2016

Visual Attention and Saliency Detection参考文献 58被引用数 15

ひとこと要約

本論文は、没入型バーチャルリアリティ（VR）における人間の視覚的探索行動を大規模に調査したもので、3つの視聴条件（HMDで立位、HMDで座位、デスクトップ）において169名の被験者から合計1980件の注視および頭部移動の軌跡を記録した。VRでは従来の2D視聴とは異なり注視バイアスが顕在することを明らかにした。また、頭部の動きのみで視覚的注目度を高い精度で予測できることを示し、データ駆動型の知見と適合した注目度モデルを用いて、注目度に配慮した圧縮や自動ビデオサマリー生成といった新たなVR応用が可能になることを示した。

ABSTRACT

Understanding how people explore immersive virtual environments is crucial for many applications, such as designing virtual reality (VR) content, developing new compression algorithms, or learning computational models of saliency or visual attention. Whereas a body of recent work has focused on modeling saliency in desktop viewing conditions, VR is very different from these conditions in that viewing behavior is governed by stereoscopic vision and by the complex interaction of head orientation, gaze, and other kinematic constraints. To further our understanding of viewing behavior and saliency in VR, we capture and analyze gaze and head orientation data of 169 users exploring stereoscopic, static omni-directional panoramas, for a total of 1980 head and gaze trajectories for three different viewing conditions. We provide a thorough analysis of our data, which leads to several important insights, such as the existence of a particular fixation bias, which we then use to adapt existing saliency predictors to immersive VR conditions. In addition, we explore other applications of our data and analysis, including automatic alignment of VR video cuts, panorama thumbnails, panorama video synopsis, and saliency-based compression.

研究の動機と目的

• 没立体の静的パノラマにおいて、特に頭部の動きと注視がステレオスコピックな環境で果たす役割を理解すること。
• VRにおける行動パターンを分析し、従来のデスクトップ視聴条件と比較すること。
• 既存の注目度予測モデルをVR応用に適合・評価すること。
• 注目度の知見を活用して、サムネイル生成、ビデオサマリー、圧縮といった実用的VRアプリケーションを開発すること。
• 今後の研究に向けた公開可能な頭部および注視軌跡データセットの提供

提案手法

• HMDとデスクトップモニタを用いて、3つの条件（立位VR、座位VR、デスクトップ視聴）において169名の被験者から合計1980件の頭部および注視軌跡を収集した。
• ステレオスコピックな全方位パノラマにおいて、眼動-trackingと慣性センサを備えたHMDを用いて注視および頭部姿勢データを記録した。
• スキャンパスを分析し、注視バイアス、視聴モード（注視モード vs. 再方向転換モード）、視覚的探索の時間的ダイナミクスを同定した。
• 元々狭い視野角の2D動画向けに設計された既存の注目度予測モデルを、VR向けに、頭部の動きとシーンの注目度統計を組み込むことで適合させた。
• 注視トラッキングを直接行わなくても、頭部の動きのみで注目度を妥当な精度で予測できることを実証した。これにより、高価な眼動-trackingに依存する必要が軽減される。
• 得られた行動モデルを活用して、自動パノラマサムネイル生成、VRビデオサマリー、注目度ベースの圧縮といったアプリケーションを開発・評価した。

実験結果

リサーチクエスチョン

• RQ1 注視および頭部の動きの観点から、没立体VRにおける視覚的探索行動は、従来のデスクトップ視聴とどのように異なるか？
• RQ2 直接的な注視トラッキングなしに、頭部の動きのみでVRにおける注目度をどの程度正確に予測できるか？
• RQ3 シーンレベルの注目度分布は、VRにおけるユーザーの注視パターンにどのように影響を与えるか？
• RQ4 2Dデータで訓練された既存の注目度モデルは、ステレオ的かつ全方位的なVRパノラマに効果的に適合可能か？
• RQ5 VRにおけるユーザーの注視の時間的ダイナミクスは何か？また、これらのパターンは時間経過とともに安定しているか？

主な発見

• ステレオ的および運動的制約の影響により、従来の2D視聴とは異なり、VRでは顕著な注視バイアスが存在することが判明した。
• 頭部の向きのデータのみで注目度を高い精度で予測できることから、多くのVRアプリケーションにおいて眼動-trackingが不要である可能性が示された。
• 新しいシーンに初めて暴露された最初の数秒間が、注目度予測の最も正確な時期であり、その後、被験者間のばらつきが著しく増加することが分かった。
• シーン内の注目度の高い領域の数が多いほど注視の集中が遅くなるが、領域数が少ないほど注視の集中が速く、明確になる傾向がある。
• 頭部および注視の動きのパターンに基づき、リアルタイムで2つの明確な視聴モード（注視モードと再方向転換モード）を識別可能であり、これによりインタラクティブなアプリケーションの実現が可能になる。
• 既存の注目度モデルは最小限の変更でVRに適合可能であり、本研究で提示されたデータを活用することで、VR動画圧縮やサムネイル生成といった応用分野での性能向上が図れる。