[논문 리뷰] Multi-View Partial (MVP) Point Cloud Challenge 2021 on Completion and Registration: Methods and Results

Liang Pan, Tong Wu외 27명|arXiv (Cornell University)|2021. 12. 22.

3D Shape Modeling and Analysis인용 수 11

한 줄 요약

이 논문은 2021년 멀티뷰 파트리얼(Point Cloud) 챌린지(MVP)의 결과와 방법을 제시하며, 단일 뷰 포인트 클라우드 복원과 편집된 포인트 클라우드 간 정렬을 중심으로 다룬다. 상위 성능을 기록한 방법들, 특히 PoinTr++와 GNN 기반 정렬 모델은 어텐션 메커니즘, 반복적 개선, 미분 가능한 매칭을 활용하여 10만 개의 가상 스캔된 부분 포인트 클라우드로 구성된 대규모 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 최고의 복원 방법은 카멘퍼 거리(Chamfer Distance) 5.01×10⁻⁴을 기록했다.

ABSTRACT

As real-scanned point clouds are mostly partial due to occlusions and viewpoints, reconstructing complete 3D shapes based on incomplete observations becomes a fundamental problem for computer vision. With a single incomplete point cloud, it becomes the partial point cloud completion problem. Given multiple different observations, 3D reconstruction can be addressed by performing partial-to-partial point cloud registration. Recently, a large-scale Multi-View Partial (MVP) point cloud dataset has been released, which consists of over 100,000 high-quality virtual-scanned partial point clouds. Based on the MVP dataset, this paper reports methods and results in the Multi-View Partial Point Cloud Challenge 2021 on Completion and Registration. In total, 128 participants registered for the competition, and 31 teams made valid submissions. The top-ranked solutions will be analyzed, and then we will discuss future research directions.

연구 동기 및 목표

• 실세계의 부분 스캔을 활용하여 3D 포인트 클라우드 복원 및 정렬 분야의 최신 기술 수준을 향상시키기 위해.
• 10만 개 이상의 스캔을 포함한 대규모 고품질 멀티뷰 부분 포인트 클라우드 데이터셋에서 기계학습 기반 방법의 성능을 평가하기 위해.
• 외부 사전 훈련을 제한하면서도 표준화된 훈련 및 평가 프로토콜을 사용하여 공정한 벤치마크를 수립하기 위해.
• 향후 연구를 위해 최상위 성능을 기록한 아키텍처를 식별하고 설계 선택 사항을 분석하기 위해.
• 기존의 측정 지표(예: 카멘퍼 거리)의 한계를 탐색하고 BCD나 EMD를 활용한 개선 방안을 제안하기 위해.

제안 방법

• 복원 트랙은 노이즈 제거 및 예측된 포인트 클라우드의 정밀화를 위해 반복적 개선 블록을 갖춘 트랜스포머 기반 아키텍처(PoinTr++)를 사용했다.
• 상위 정렬 방법은 교차 그래프 연결과 ISS(반복적 샘플링 및 선택) 모듈을 갖춘 그래프 신경망(GNN)을 활용하여 대응 관계 학습을 향상시켰다.
• 매칭을 위한 신뢰도 맵을 생성하기 위해 미분 가능한 싱크호른(Sinkhorn) 알고리즘을 사용하여, 미분 가능한 소프트 대응 관계 학습을 가능하게 했다.
• 다양한 손실 함수를 사용하여 복합적인 손실 함수를 구성했으며, 이는 내부 점 점수에 대한 교차 엔트로피, 겹침 신뢰도에 대한 피크 손실, 그리고 신뢰도 기반 매칭 손실을 포함했다.
• 훈련 과정에서는 랜덤 샘플링을 통해 1,024개의 포인트로 데이터 증강을 수행했고, 정상 및 비정상 매칭 수를 균형 있게 유지하여 강건성을 확보했다.
• 추론 과정에서는 2,048개의 포인트를 유지하고, 상위 50퍼센트의 신뢰도를 가진 상호 이중 대응 관계를 선택하여 SVD를 통해 최종 변환을 계산했다.

실험 결과

연구 질문

• RQ1 어떤 정도로 어텐션 기반 아키텍처와 GNN 기반 아키텍처가 부분 포인트 클라우드 복원에서 성능과 강건성 면에서 상호 비교 가능한가?
• RQ2 미분 가능한 매칭과 신뢰도 기반 대응 관계 학습이 부분 간 정렬에 얼마나 기여하는가?
• RQ3 반복적 개선과 다중 척도 특징 학습이 매우 불완전한 스캔에서 복원 품질을 크게 향상시킬 수 있는가?
• RQ4 기존의 측정 지표(예: 카멘퍼 거리)가 복원 결과에 어떤 식으로 부분 관측 결과를 편향시키는가? 더 신뢰할 수 있는 대안은 무엇인가?
• RQ5 포인트 클라우드 복원 및 정렬에서 최신 기술 수준 성능을 달성하는 데 기여한 주요 아키텍처 및 훈련 설계 선택 사항은 무엇인가?

주요 결과

• 상위 복원 방법인 PoinTr++는 테스트 세트에서 카멘퍼 거리 5.01×10⁻⁴를 기록하여 베이스라인 모델을 압도했다.
• 2위를 차지한 TSPCC 방법은 IOI 증강과 다중 척도 SPD 모듈을 활용하여 의미 기반 복원 성능을 향상시켰다.
• 상위 정렬 방법은 노이즈가 없는 상황에서 2.5008°의 회전 오차와 0.0305의 이동 오차를 기록했다.
• 노이즈가 있는 데이터에서 최상의 정렬 모델은 3.2183°의 회전 오차를 유지하여 입력 품질 악화에 강건함을 입증했다.
• 3위 방법은 교차 그래프 연결과 ISS를 활용하여, 특히 겹침 비율이 낮은 상황에서의 매칭 품질을 향상시켰다.
• 강력한 성능에도 불구하고 상위 모델들은 최대 1,500 에포크에 이르는 장시간 훈련과 높은 계산 비용을 요구하여 효율성 향상 여지가 있음을 시사했다.