[論文レビュー] Robust Mesh Saliency GT Acquisition in VR via View Cone Sampling and Geometric Smoothing

Guoquan Zheng, Hao J-G+5 more|arXiv (Cornell University)|Jan 6, 2026

Visual Attention and Saliency Detection被引用数 0

ひとこと要約

本論文は、視野円錐サンプリング（VCS）を用いて中心窩視覚を模倣し、メッシュトポロジー上でサリエンシーを伝播させるHybrid Manifold-Euclidean constrained diffusion（HCD）を提案することで、VR環境における頑健な3Dメッシュサリエンシーグラウンドトゥルースを実現し、Euclidean平滑化による単一光線サンプリングよりも精度を向上させる。

ABSTRACT

Reliable 3D mesh saliency ground truth (GT) is essential for human-centric visual modeling in virtual reality (VR). However, current 3D mesh saliency GT acquisition methods are generally consistent with 2D image methods, ignoring the differences between 3D geometry topology and 2D image array. Current VR eye-tracking pipelines rely on single ray sampling and Euclidean smoothing, triggering texture attention and signal leakage across gaps. This paper proposes a robust framework to address these limitations. We first introduce a view cone sampling (VCS) strategy, which simulates the human foveal receptive field via Gaussian-distributed ray bundles to improve sampling robustness for complex topologies. Furthermore, a hybrid Manifold-Euclidean constrained diffusion (HCD) algorithm is developed, fusing manifold geodesic constraints with Euclidean scales to ensure topologically-consistent saliency propagation. By mitigating "topological short-circuits" and aliasing, our framework provides a high-fidelity 3D attention acquisition paradigm that aligns with natural human perception, offering a more accurate and robust baseline for 3D mesh saliency research.

研究の動機と目的

• VR環境における3Dメッシュサリエンシーグラウンドトゥルースの頑健な取得を動機づける。
• 複雑な3Dトポロジーにおける単一光線サンプリングとEuclidean平滑化の限界に対処する。
• メッシュトポロジーとヒト視覚系の特性を尊重する高忠実度サリエンシーGTを生成する手法を開発する。
• 多様な3Dメッシュサリエンシーデータセットを作成し、コードとデータを公開する。

提案手法

• 視野円錐サンプリング（VCS）戦略を導入し、ガウス分布の光線束を放出して中心窩受容野をモデル化する。
• Hybrid Manifold-Euclidean constrained diffusion（HCD）アルゴリズムを開発し、メッシュ上の測地距離とEuclideanスケールを用いてサリエンシーを伝播させる。
• 処理中のスケール整合性のためにメッシュを単位AABB対角線に正規化する。
• 視線密度を被験者間の累積ヒット数として計算し、時間ベースの重み付けバイアスを回避する。
• メッシュ上で測地ガウス拡散を適用して、トポロジーを尊重しつつ生データのサリエンシーを広げる（d_G距離）。
• 顔から頂点へのサリエンシーのマッピング、ラプラシアン平滑化の適用、および可視化のための非線形ガンマ補正を行う。

実験結果

リサーチクエスチョン

• RQ1 VRの眼球追跡データをどのように収集すれば、2Dビュー投影より3D表面サリエンシーをよりよく反映できるか。
• RQ2 Gaussian視野円錐サンプリングは、単一光線サンプリングと比較して高周波テクスチャや複雑なトポロジーへの頑健性を向上させるか。
• RQ3 manifold測地制約とEuclidean拡散を組み合わせることで、3Dメッシュ上でトポロジー的一貫性のあるサリエンシー伝播を得られるか。
• RQ4 VRで再現性のある3DメッシュサリエンシーGTを支援するデータセットと公開コードは何か。

主な発見

Acquisition Strategy	IC	Processing Pipeline	sAUC	CC	KL
Single Ray	0.0557	Direct	0.7865	0.2194	2.8791
Single Ray	0.0557	Baseline	0.7756	0.1970	3.2092
Single Ray	0.0557	Ours	0.8050	0.2568	2.7753
VCS	0.8137	Direct	0.7621	0.4571	1.1820
VCS	0.8137	Baseline	0.7709	0.3793	1.4400
VCS	0.8137	Ours	0.8288	0.4829	1.1278

• VCS + HCDは、ベースライン手法（例：sAUC、CC、KL）より視線密度との整合性が高い。
• 内部的一貫性(IC)が0.0557（単一光線）から0.8137（VCS）へ向上し、より安定した注意パターンを示す。
• CCは0.1970（単一光線ベース）→ 0.4829（VCS + 本法）へ向上し、KLは3.2092→1.1278へ低下、サリエンシー密度の適合性が改善。
• VCSはメッシュ解像度の増加に対して性能を大幅に向上させ、サリエンシーの漏出を減らしトポロジーの一貫性を維持。
• アブレーション解析の結果、VCSはスパース性を低減し頑健性を高める；提案法のHCD処理は表面間の信号漏れを防ぐ。
• 著者は100個のテクスチャ付きメッシュ（1k–100万 faces）のデータセットを提供し、ソースコードとデータを公開予定。