[논문 리뷰] ScanDP: Generalizable 3D Scanning with Diffusion Policy

Itsuki Hirako, Ryo Hakoda외 4명|arXiv (Cornell University)|2026. 03. 11.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

ScanDP는 점유 격자 지도(OGM)에 조건화된 확산 정책을 사용하여 일반화 가능한, 데이터 효율적인 3D 스캐닝을 학습하고, 안전성과 효율성을 위한 경로 최적화를 통해 커버리지와 강건성에서 기본선보다 우수하게 나타낸다.

ABSTRACT

Learning-based 3D Scanning plays a crucial role in enabling efficient and accurate scanning of target objects. However, recent reinforcement learning-based methods often require large-scale training data and still struggle to generalize to unseen object categories.In this work, we propose a data-efficient 3D scanning framework that uses Diffusion Policy to imitate human-like scanning strategies. To enhance robustness and generalization, we adopt the Occupancy Grid Mapping instead of direct point cloud processing, offering improved noise resilience and handling of diverse object geometries. We also introduce a hybrid approach combining a sphere-based space representation with a path optimization procedure that ensures path safety and scanning efficiency. This approach addresses limitations in conventional imitation learning, such as redundant or unpredictable behavior. We evaluate our method on diverse unseen objects in both shape and scale. Ours achieves higher coverage and shorter paths than baselines, while remaining robust to sensor noise. We further confirm practical feasibility and stable operation in real-world execution.

연구 동기 및 목표

• 일반화 가능한 3D 스캐닝을 제한된 전문가 데이터로 보이지 않는 물체에 대해 가능하게 한다.
• 점유 격자 맵 매핑을 통해 노이즈 및 센서 조건 변화에 대한 강건성을 향상시킨다.
• 재구성 손실을 유지하면서 시점의 경로 최적화를 통해 안전하고 효율적인 장거리 카메라 궤적을 달성한다.
• 확산 정책을 활용하여 인간과 유사한 스캐닝 전략을 모방하되 충돌 없는 경로를 보장한다.

제안 방법

• 환경을 베이지안 로그 오즈로 깊이 측정에서 업데이트되는 점유 격자 지도(OGM)로 표현한다.
• 희소 합성곱으로 OGM 특징을 인코딩하여 압축된 장면 표현을 생성한다.
• 조건부 잡음 제거 확산 확률 모델(DDPM)을 사용하여 OGM 특징 및 카메라 포즈 이력에 조건화된 다중 스텝 동작을 생성한다.
• 추론은 초기 무작위 동작을 denoise하여 다음 카메라 포즈를 나타내는 N개의 동작 시퀀스로 구성한다.
• OGM에 버블 기반 충돌 필터를 적용하여 안전하지 않은 시점들을 제거하고 안전한 궤적을 보장한다.
• 시점 추출 및 재구성 손실이 임계값 이하를 유지하도록 시점 수를 최소화하는 단거리 경로 최적화를 동적 계획법으로 수행한다.
• 최종 스캐닝 궤적을 카메라 포즈의 수평선으로 출력하고 깊이 맵을 누적하여 최종 포인트 클라우드를 구성한다.

실험 결과

연구 질문

• RQ1 확산 정책 기반 모방 학습이 제한된 전문가 데이터로 보지 못하는 물체에 대해 높은 일반화를 달성할 수 있는가?
• RQ2 점유 격자 지도 사용이 포인트 클라우드 기반 접근법에 비해 노이즈 및 물체 기하학 변화에 대한 강건성을 향상시키는가?
• RQ3 경로 최적화(버블 필터링 및 시점 추출)가 실제로 스캐닝의 효율성 및 안전성에 어떤 영향을 미치는가?
• RQ4 실험 환경에서 DP 및 DP3와 같은 기본선 대비 센서 노이즈 및 시야(FoV) 변화 하에서의 방법의 성능은 어떠한가?

주요 결과

• ScanDP는 보지 못한 물체에서 더 높은 일반화 커버리지를 달성한다(약 94.0 ± 4.3% 대 DP의 87 ± 11%, DP3의 89 ± 11%).
• 경로 최적화는 최적화 없는 경우에 비해 이동 거리를 평균 약 32% 감소시킨다.
• 실험실 밖 실험에서 ScanDP는 약 95 ± 2.0% 커버리지를 달성하며 DP3의 33 ± 10.0%를 상회한다.
• 가우시안 깊이 노이즈 하에서 ScanDP는 노이즈 수준 0.1에서 약 88% 커버리지를 유지하는 반면 DP3는 0.01 노이즈에서 더 급격히 약 74%로 떨어진다.
• OGM 기반 센싱은 FoV 변화에 대한 강건성을 제공하며 L515(89.44%), D435(83.13%), D415(97.40%)에서 ScanDP 커버리지를 달성하고 DP3를 능가한다.
• 기저선 결과에서 기본 확률적 OGM 0.02 m 격자 크기가 최적의 타협을 제공하며, 임계값 기반 OGM이나 더 거칠거나 미세한 격자는 성능이 저하된다.