[논문 리뷰] Weakly-supervised 3D Shape Completion in the Wild

Jiayuan Gu, Wei-Chiu Ma외 6명|arXiv (Cornell University)|2020. 08. 20.

Advanced Vision and Imaging참고 문헌 2인용 수 5

한 줄 요약

이 논문은 밀도 높은 지도 학습이 필요 없이 부분점군으로부터 완전한 형상을 복원하기 위해 유연한 투영과 후회 학습을 활용하는 약한 지도 학습 기반 3D 형상 보완 방법을 제안한다. 이는 ShapeNet 및 실세계 LiDAR 데이터셋에서 최신 기술 수준의 성능을 달성하며, 초기화에 대한 민감도가 낮고, SemanticKITTI에서의 트럭과 같이 새로운 카테고리로의 일반화 능력이 뛰어나며, 추론 시 미세조정을 통해 카메라 거리 거리(CD)가 0.2942로 나타난다.

ABSTRACT

3D shape completion for real data is important but challenging, since partial point clouds acquired by real-world sensors are usually sparse, noisy and unaligned. Different from previous methods, we address the problem of learning 3D complete shape from unaligned and real-world partial point clouds. To this end, we propose a weakly-supervised method to estimate both 3D canonical shape and 6-DoF pose for alignment, given multiple partial observations associated with the same instance. The network jointly optimizes canonical shapes and poses with multi-view geometry constraints during training, and can infer the complete shape given a single partial point cloud. Moreover, learned pose estimation can facilitate partial point cloud registration. Experiments on both synthetic and real data show that it is feasible and promising to learn 3D shape completion through large-scale data without shape and pose supervision.

연구 동기 및 목표

• 부분점군만 제공되고 밀도 높은 지도 데이터가 없는 상황에서 약한 지도 학습 기반 3D 형상 보완 문제를 해결하기 위해.
• 형상-투영-일치-관측 손실 항목과 후회 학습 목표를 도입하여 형상 보완 및 부분점군 정렬 성능을 향상시키기 위해.
• 추론 중 미세조정을 통해 실제 환경에서의 새로운 카테고리(예: SemanticKITTI의 주차된 트럭)로의 제로샷 일반화를 가능하게 하기 위해.
• 이전의 약한 지도 학습 방법들(예: DPC)에 비해 무작위 초기화에 대한 민감도를 감소시키기 위해.
• 합성(ShapeNet) 및 실세계 LiDAR 데이터셋(3D 차량 및 SemanticKITTI 벤치마크 포함)에서 방법의 유효성을 검증하기 위해.

제안 방법

• 이 방법은 예측된 형상, 그 2D 투영, 관측된 부분점군 간의 일관성을 강제하는 형상-투영-일치-관측 손실 항목을 도입한다.
• 훈련 안정성 향상과 국소 최적화 해에의 취약성 감소를 위해 후회 학습 목표를 활용하여 수렴성과 성능을 향상시킨다.
• 3D 형상을 2D 시야로 매핑할 수 있는 미분 가능한 투영 레이어를 사용하여, 부분 관측에서부터 형상 보완을 엔드 투 엔드로 최적화할 수 있도록 한다.
• 자동차와 같은 대칭적인 물체의 경우, 대칭으로 인한 자세 모호성을 완화하기 위해 2D 투영에서의 카메라 거리 거리(CD) 최적화를 위한 변형을 적용한다.
• 새로운 카테고리(예: SemanticKITTI 트럭)에 대해 추론 중 모델을 미세조정하여, 최소한의 지도 데이터로도 새로운 데이터에 적응할 수 있도록 한다.
• 학습된 형상 특징의 t-SNE 시각화 결과는 유사한 형상에 대해 의미 있는, 의미적으로 유사한 표현을 모델이 포착하고 있음을 확인한다.

실험 결과

연구 질문

• RQ1 관측 일치 형상에 비해 형상-투영-일치-관측 손실 항목이 형상 보완 성능 향상에 얼마나 효과적인가?
• RQ2 후회 학습 목표가 약한 지도 학습 기반 3D 형상 보완에서 훈련의 불안정성 감소 및 수렴성 향상에 크게 기여하는가?
• RQ3 추론 중 미세조정을 통해 실제 환경의 새로운 카테고리(예: SemanticKITTI의 트럭)로의 일반화 능력은 어느 정도인가?
• RQ4 훈련 시 입력 시야 수가 3D 형상 보완 및 정렬 작업 성능에 어떤 영향을 미치는가?
• RQ5 이전의 약한 지도 학습 기반 기준 모델(DPC)에 비해 이 방법은 무작위 초기화에 얼마나 민감한가?

주요 결과

• ShapeNet에서 전체 방법은 카메라 거리 거리(CD) 1.65(×100), 정밀도 0.77, 커버리지 0.88를 기록하며, 형상-투영-일치-관측 항목이나 후회 학습 손실 항목이 제거된 아블레이션에 비해 성능이 뛰어나다.
• 아블레이션 연구 결과, 형상-투영-일치-관측 항목을 제거할 경우 카메라 거리 거리가 증가하고 커버리지가 감소하여, 예측치와 관측치 간 일치를 확보하는 데 이 항목의 중요성을 확인한다.
• 무작위 초기화에 따른 성능 변동을 감소시켜, ShapeNet에서 카메라 거리 거리의 표준편차가 0.03으로 나타나 DPC의 0.81보다 유의미하게 낮다.
• 3D 차량 데이터셋에서 각 인스턴스당 4개의 시야를 사용할 경우 성능과 계산 비용 간 최적의 트레이드오���을 달성하며, 카메라 거리 거리(CD)는 0.261을 기록한다.
• SemanticKITTI 트럭에 대해 추론 중 미세조정을 수행한 후, 카메라 거리 거리(CD)는 0.2942, 자세 정확도는 86.74%, 중앙각 차이(2.08°)를 기록하여 강력한 제로샷 일반화 능력을 입증한다.
• t-SNE 시각화 결과는 학습된 형상 특징이 의미적으로 유의미하게 군집되어 있으며, 유사한 형상은 가까운 특징 표현을 가짐을 확인한다.