[논문 리뷰] Robust Mesh Saliency GT Acquisition in VR via View Cone Sampling and Geometric Smoothing

Guoquan Zheng, Hao J-G외 5명|arXiv (Cornell University)|2026. 01. 06.

Visual Attention and Saliency Detection인용 수 0

한 줄 요약

본 논문은 시야 원뿔 샘플링(VCS)을 사용해 foveal 비전을 시뮬레이션하고, 메쉬 토폴로지를 따라 주목도를 전파하는 Hybrid Manifold-Euclidean constrained diffusion(HCD)을 통해 단일 광선 샘플링 대비 정확도를 높이는 VR 기반 강건한 3D 메시 주목도 GT를 제안한다.

ABSTRACT

Reliable 3D mesh saliency ground truth (GT) is essential for human-centric visual modeling in virtual reality (VR). However, current 3D mesh saliency GT acquisition methods are generally consistent with 2D image methods, ignoring the differences between 3D geometry topology and 2D image array. Current VR eye-tracking pipelines rely on single ray sampling and Euclidean smoothing, triggering texture attention and signal leakage across gaps. This paper proposes a robust framework to address these limitations. We first introduce a view cone sampling (VCS) strategy, which simulates the human foveal receptive field via Gaussian-distributed ray bundles to improve sampling robustness for complex topologies. Furthermore, a hybrid Manifold-Euclidean constrained diffusion (HCD) algorithm is developed, fusing manifold geodesic constraints with Euclidean scales to ensure topologically-consistent saliency propagation. By mitigating "topological short-circuits" and aliasing, our framework provides a high-fidelity 3D attention acquisition paradigm that aligns with natural human perception, offering a more accurate and robust baseline for 3D mesh saliency research.

연구 동기 및 목표

• VR 환경에서 3D 메시 주목도 GT의 강건한 획득 필요성을 제기한다.
• 복잡한 3D 토폴로지에서 단일 광선 샘플링과 유클리드 스무딩의 한계를 다룬다.
• 메시 토폴로지와 인간 시각 시스템의 특성을 존중하는 고해상도 주목도 GT를 생성하는 방법을 개발한다.
• 다양한 3D 메시 주목도 데이터셋을 만들고 코드와 데이터를 공개한다.

제안 방법

• 뷰 콘 샘플링(VCS) 전략을 도입해 가우시안 분포의 광선 묶음을 방출하여 foveal 수용 영역을 모델링한다.
• 메시의 지오데식 거리와 유클리드 축을 이용해 주목도를 전파하는 Hybrid Manifold-Euclidean constrained diffusion(HCD) 알고리즘을 개발한다.
• 처리 중 스케일 일관성을 위해 메시를 단위 AABB 대각선으로 정규화한다.
• 시간 기반 가중치 편향을 피하기 위해 피험자별 누적 히트 수로 시선 밀도를 계산한다.
• 지오데식 가우시안 확산을 메시에 적용해 위상(토폴로지)을 존중하며 원시 주목도를 확산한다(d_G 거리).
• 정면에서 면에서 꼭짓점으로 주목도를 매핑하고, 라플라시안 스무딩과 비선형 감마 보정을 적용하여 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 VR 안구 추적 데이터를 어떻게 수집하면 2D-뷰 프로젝션보다 3D 표면 주목도를 더 잘 반영할 수 있는가?
• RQ2 가우시안 뷰-콘 샘플링은 단일 광선 샘플링에 비해 고주파 텍스처 및 복잡한 토폴로지에 대한 강건성을 향상시키는가?
• RQ3 만족적으로 매니폴드 지오데식 제약과 유클리드 확산을 결합하면 3D 메시에서 토폴로지 일관된 주목도 전파를 얻을 수 있는가?
• RQ4 VR에서 재현 가능한 3D 메시 주목도 GT를 지원하는 데이터셋과 공개 코드가 있는가?

주요 결과

• VCS + HCD는 기준 방법들(e.g., sAUC, CC, KL)보다 눈 추적 밀도와 더 높은 정렬도를 보인다.
• Internal Consistency(IC)가 0.0557(Single Ray)에서 0.8137(VCS)로 개선되어 주의 패턴의 안정성이 증가했다.
• CC가 0.1970(Single Ray Baseline)에서 0.4829(VCS + Ours)로 개선되고 KL은 3.2092에서 1.1278로 감소하여 주목도 밀도 매칭이 개선되었다.
• VCS는 메시 해상도가 증가해도 성능이 크게 향상되어 주목도 누출이 줄고 토폴로지 무결성이 유지된다.
• 약화(Ablation) 분석에서 VCS가 희소성을 감소시키고 강건성을 향상시키며, 제안된 HCD 처리 방식은 표면 간 신호 누출을 방지한다.
• 저자들은 100개의 텍스처링된 메시(1k–1,000k 면) 데이터셋을 제공하고 소스 코드와 데이터를 공개적으로 릴리스할 예정이다.