[논문 리뷰] Variational Relational Point Completion Network

Liang Pan, Xinyi Chen외 5명|arXiv (Cornell University)|2021. 04. 20.

3D Shape Modeling and Analysis참고 문헌 30인용 수 4

한 줄 요약

이 논문은 부분점군으로부터 세밀하고 구조적으로 일관된 3D 형상을 생성하기 위해 이중경로 아키텍처를 통한 확률적 모델링과 포인트 자기주의 주의 및 선택적 커널 모듈을 활용한 관계형 특징 학습을 결합한 변동형 관계형 포인트 보완 네트워크인 VRCNet을 제안한다. VRCNet은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, 실제 스캔 데이터에 대해서도 강건하게 일반화되어 기존 방법에 비해 형상 세부 정보 복원 및 구조 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

Real-scanned point clouds are often incomplete due to viewpoint, occlusion, and noise. Existing point cloud completion methods tend to generate global shape skeletons and hence lack fine local details. Furthermore, they mostly learn a deterministic partial-to-complete mapping, but overlook structural relations in man-made objects. To tackle these challenges, this paper proposes a variational framework, Variational Relational point Completion network (VRCNet) with two appealing properties: 1) Probabilistic Modeling. In particular, we propose a dual-path architecture to enable principled probabilistic modeling across partial and complete clouds. One path consumes complete point clouds for reconstruction by learning a point VAE. The other path generates complete shapes for partial point clouds, whose embedded distribution is guided by distribution obtained from the reconstruction path during training. 2) Relational Enhancement. Specifically, we carefully design point self-attention kernel and point selective kernel module to exploit relational point features, which refines local shape details conditioned on the coarse completion. In addition, we contribute a multi-view partial point cloud dataset (MVP dataset) containing over 100,000 high-quality scans, which renders partial 3D shapes from 26 uniformly distributed camera poses for each 3D CAD model. Extensive experiments demonstrate that VRCNet outperforms state-of-theart methods on all standard point cloud completion benchmarks. Notably, VRCNet shows great generalizability and robustness on real-world point cloud scans.

연구 동기 및 목표

• 기존의 포인트군 보완 방법이 미세한 局부 세부 정보가 결여된 거친 형상을 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 현재 방법들이 결정론적 성격을 띠고 있음을 고려해, 형상 보완 과정에서의 불확실성을 모델링하는 확률적 프레임워크를 도입함으로써 이를 극복하기 위해.
• 대칭성, 규칙성, 표면의 매끄러움성과 같은 구조적 관계를 관계형 특징 모듈을 통해 명시적으로 학습하여 기하학적 정확도를 향상시키기 위해.
• 완성된 모델 학습 및 평가를 지원하기 위해 대규모이고 다양한 다중 시점 부분점군 데이터셋(MVP)을 제공하기 위해.
• 합성 벤치마크를 넘어서 KITTI와 ScanNet의 실제 스캔 데이터에서 일반화 능력과 강건성을 입증하기 위해.

제안 방법

• VRCNet은 이중경로 아키텍처를 활용한다: 한 경로는 변동형 오토인코더(VAE)를 사용해 완전한 포인트군을 재구성하여 사전 분포를 학습하고, 다른 경로는 부분 입력에서 완전한 형상을 재구성하는 데 도움을 주는 재구성된 사전 분포를 기반으로 한다.
• 확률적 모델링 경로는 부분점군의 사후 분포를 완전한 포인트군으로부터의 사전 분포와 일치시키도록 정규화하여, 체계적인 불확실성 모델링을 가능하게 한다.
• 관계형 강화 네트워크(RENet)는 다중 척도 국소 특징을 사용해 거친 보완 결과를 정밀하게 다듬으며, 포인트 자기주의 주의 커널(PSA)은 학습된 주의 가중치를 통해 이웃 포인트 간의 관계를 적응적으로 집계한다.
• 포인트 선택적 커널 모듈(PSK)은 다양한 커널 크기에서의 특징을 적응적인 채널별 가중치를 사용해 융합함으로써 다중 척도 특징 표현을 향상시킨다.
• 모델은 3D CAD 모델 각각에 대해 26개의 균일하게 분포된 카메라 시점에서 유도된 10만 개 이상의 부분 및 완전한 스캔을 포함하는 새로운 대규모 MVP 데이터셋에서 엔드 투 엔드로 훈련된다.
• 모델은 완전히 다시 훈련하지 않고도 실제 스캔 데이터(KITTI, ScanNet)의 희소하고 노이즈가 많은 데이터에 적응하기 위해 실세계 스캔에서 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 형상 보완 과정에서의 불확실성을 모델링하는 변동형 프레임워크가 더 현실적이고 다양한 출력을 가능하게 하여 형상 보완 성능을 향상시킬 수 있는가?
• RQ2 주목적 기반 국소 관계 및 다중 척도 커널 융합과 같은 관계형 특징 학습은 미세한 기하학적 세부 정보와 구조적 대칭성을 얼마나 효과적으로 복원하는가?
• RQ3 제안된 방법이 LiDAR 및 깊이 카메라에서 유래한 실제 스캔, 노이즈가 많고 희소한 포인트군 스캔에 얼마나 잘 일반화되는가?
• RQ4 대규모 다중 시점 부분점군 데이터셋(MVP)의 포함 여부가 기존의 벤치마크에 비해 모델의 일반화 능력과 강건성 향상에 상당한 기여를 하는가?
• RQ5 제안된 관계형 모듈(PSA 및 PSK)은 보완을 넘어서 다른 3D 포인트군 작업으로 효과적으로 전이 가능한가?

주요 결과

• Completion3D 벤치마크에서 VRCNet은 가장 낮은 카멘 거리(CD) 손실을 기록하여 평균 CD가 8.12×10⁻⁴을 기록했으며, 기존 최신 기술인 GRNet(10.64×10⁻⁴)과 TopNet(14.25×10⁻⁴)에 비해 뚜렷이 뛰어난 성능을 보였다.
• MVP 데이터셋에서 VRCNet은 PCN, NSFA, AtlasNet에 비해 더 세밀하고 구조적으로 일관된 형상을 생성했으며, 특히 의자 다리나 오토바이 바퀴와 같은 대칭적인 부분을 회복하는 데 뛰어난 성능을 보였다.
• KITTI와 ScanNet의 실제 스캔에서 VRCNet은 관측된 세부 정보를 유지하면서도 고도의 누락 비율이 있는 상황에서도 매끄럽고 일관된 표면을 생성하여 타당한 완전한 형상을 재구성하는 데 성공했다.
• 절단 실험 결과 각 구성 요소(PSA, PSK, 이중경로 아키텍처)가 성능 향상에 상당한 기여를 함을 확인했으며, 전체 모델은 기준 모델 ECG에 비해 뚜렷한 성능 향상을 보였다.
• 사용자 연구 결과 VRCNet은 실제 스캔된 포인트군 보완 작업에서 가장 선호되는 방법으로 평가되었으며, 이는 생성된 출력의 강렬한 시각적 품질과 현실성의 높음을 시사한다.
• 10만 개 이상의 고품질 부분 및 완전한 스캔을 포함하는 MVP 데이터셋은 특히 실세계 일반화 작업에서 더 높은 데이터 다양성과 모델 일반화 능력을 가능하게 하여 성능 향상에 기여했다.