[논문 리뷰] PCN: Point Completion Network

Wentao Yuan, Tejas Khot외 3명|arXiv (Cornell University)|2018. 08. 02.

3D Shape Modeling and Analysis참고 문헌 66인용 수 35

한 줄 요약

PCN는 비볼륨화를 거치지 않고 원시 3D 포인트 클라우드를 직접 처리하는 학습 기반의 형태 보완 방법을 제안한다. 이는 굵은 단계에서 세밀한 단계로 나뉘는 디코더를 사용하여 고밀도이고 현실적인 보완 결과를 생성한다. 이는 합성 데이터와 실세계 데이터(예: KITTI 라이다 스캔)에서 최신 기술 수준의 성능을 달성하며, 노이즈와 희소성에 대한 강건성도 향상시킨다. 또한 포인트 클라우드 정렬과 같은 후행 작업을 향상시킨다.

ABSTRACT

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset.

연구 동기 및 목표

• 라이다와 같은 실세계 센서에서 기인하는 희소성과 가림 현상으로 인해 손상된 3D 포인트 클라우드를 보완하는 문제를 해결하기 위해.
• 메모리 비용이 높고 기하학적 세부 정보를 손실하는 볼륨화 과정을 제거하기 위해.
• 부분적인 포인트 클라우드에서 직접 고해상도이고 세밀한 보완 결과를 생성할 수 있는 딥 러닝 모델을 개발하기 위해.
• 더 나은 포인트 클라우드 정렬과 같은 후행 작업을 위해 더 밀도 높고 완전한 입력을 제공하기 위해.
• 학습 데이터에 포함되지 않은 형태나 센서 모odalities를 포함한 다양한 물체 카테고리와 실세계 데이터에 대한 일반화를 보장하기 위해.

제안 방법

• 순서 없는 부분 포인트 클라우드에서 특징을 추출하기 위해 순열 불변성(PointNet 기반) 인코더를 사용한다.
• 두 단계로 구성된 새로운 굵은 단계에서 세밀한 단계로 나뉘는 디코더를 도입하여 고밀도 포인트 클라우드를 생성한다: 굵은 보완 후 정밀 조정.
• 완성된 형태의 기하학적 일致성과 충실도를 보장하기 위해 미분 가능한 손실 함수를 도입한다.
• 중간 단계의 볼륨화를 피함으로써 전체 기하학적 해상도를 유지하고 메모리 사용량을 줄인다.
• ShapeNet의 방대한 합성 형태 데이터셋을 사용하여 네트워크 전체를 엔드 투 엔드로 훈련한다.
• 표준 CPU에서 실시간 추론을 지원하여 로봇공학 애플리케이션에 적합하다.

실험 결과

연구 질문

• RQ1 볼륨화 또는 구조적 가정 없이 원시적이고 순서 없는 포인트 클라우드에서 딥 러닝 모델이 직접 3D 포인트 클라우드를 보완할 수 있는가?
• RQ2 볼륨 기반 기준 모델과 비교했을 때 굵은 단계에서 세밀한 단계로 나뉘는 디코더 설계는 보완 품질과 파rameter 효율성에 어떻게 기여하는가?
• RQ3 PCN은 KITTI 데이터셋의 희소한 라이다 스캔과 같은 실세계 데이터에 얼마나 잘 일반화되는가?
• RQ4 PCN를 통한 형태 보완은 포인트 클라우드 정렬과 같은 후행 작업에 어떻게 기여하는가?
• RQ5 미세한 구조나 분리된 부분을 처리할 때 모델의 실패 모드는 어떠한가?

주요 결과

• PCN는 포인트 클라우드 정렬 정확도를 크게 향상시켜, 특히 부분적인 입력에서 높은 초기 오차가 발생하는 경우에 회전 및 이동 오차를 줄인다.
• ShapeNet 벤치마크에서 최신 기술 수준의 성능을 달성하며, 세밀한 기하학적 세부 정보를 갖춘 현실적인 고해상도 보완 결과를 생성한다.
• 노이즈와 희소성에 대해 강건한 성능을 보이며, 손상되고 희소한 입력에서 볼륨 기반 방법보다 뛰어난 성능을 발휘한다.
• 학습 데이터에 포함되지 않은 새로운 물체 카테고리, 특히 ShapeNet에서의 정성적 결과를 통해 잘 일반화됨을 보여준다.
• 3.60GHz 인텔 코어 i7-7700 표준 CPU에서 실시간 추론을 지원하여 온라인 로봇공학 응용에 실용적이다.
• 2,396개의 테스트 인스턴스 전반에서 정렬 성능을 향상시켰으며, 가장 도전적인 부분 스캔에서 가장 큰 향상이 관찰되었다.