[논문 리뷰] Refinement of Predicted Missing Parts Enhance Point Cloud Completion

Alexis Mendoza, Alexander Apaza외 2명|arXiv (Cornell University)|2020. 10. 08.

3D Shape Modeling and Analysis참고 문헌 21인용 수 7

한 줄 요약

이 논문은 먼저 누락된 기하학적 구조만 예측한 후 융합된 결과를 정밀하게 다듬어 점 분포와 전이 품질을 향상시키는 이단계 딥러닝 프레임워크를 제안한다. 기존의 불완전한 입력을 유지하면서 누락된 부분 예측에 집중함으로써, ShapeNet에서 최신 기술 수준(SOTA) 성능을 달성하며, Chamfer 거리와 완성 품질 측면에서 기존 방법들을 능가한다. 특히 램프와 캡과 같은 도전적인 카테고리에서 두드러진 성능 향상을 보였다.

ABSTRACT

Point cloud completion is the task of predicting complete geometry from partial observations using a point set representation for a 3D shape. Previous approaches propose neural networks to directly estimate the whole point cloud through encoder-decoder models fed by the incomplete point set. By predicting the complete model, the current methods compute redundant information because the output also contains the known incomplete input geometry. This paper proposes an end-to-end neural network architecture that focuses on computing the missing geometry and merging the known input and the predicted point cloud. Our method is composed of two neural networks: the missing part prediction network and the merging-refinement network. The first module focuses on extracting information from the incomplete input to infer the missing geometry. The second module merges both point clouds and improves the distribution of the points. Our experiments on ShapeNet dataset show that our method outperforms the state-of-the-art methods in point cloud completion. The code of our methods and experiments is available in \url{https://github.com/ivansipiran/Refinement-Point-Cloud-Completion}.

연구 동기 및 목표

• 기존의 포인트 클라우드 완성 방법이 전체 형태를 재구성함에 따라 중복된 입력 기하학적 구조를 포함하여 최적의 결과를 도출하지 못하는 한계를 해결하기 위해.
• 기존의 불완전한 포인트 클라우드를 유지하고 학습을 오직 누락된 부분 예측에만 집중시킴으로써 완성 품질을 향상시키기 위해.
• 기존 부분과 예측된 부분 간의 점 분포와 기하학적 연속성을 향상시키기 위해 전용 정밀화 네트워크를 통해 최종 출력을 향상시키기 위해.
• 람프와 캡과 같이 내부 클래스 변동성이 높은 도전적인 카테고리에서의 강건성과 우수성을 입증하기 위해.
• 누락된 부분 예측과 정밀화를 분리함으로써 더 나은 제어와 성능을 가능하게 하는 단순하면서도 효과적인 엔드 투 엔드 아키텍처를 제공하기 위해.

제안 방법

• 이 방법은 이중 브랜치 신경망을 사용한다: 불완전한 입력에서 특수 손실 함수를 사용해 누락된 기하학적 구조를 추론하는 누락된 부분 예측 네트워크.
• 예측된 누락된 부분은 원본 불완전한 포인트 클라우드와 연결되어 융합된 입력을 형성한다.
• 별도의 융합-정밀화 네트워크가 융합된 포인트 클라우드를 처리하여 점 분포를 개선하고 알려진 영역과 예측 영역 간의 부드러운 전이를 향상시킨다.
• 정밀화 네트워크는 균일한 점 분포와 진짜 값과의 기하학적 일관성을 장려하는 손실 함수로 훈련된다.
• 전체 아키텍처는 엔드 투 엔드로 훈련 가능하며, 누락된 부분 예측 모듈과 정밀화 모듈이 함께 최적화된다.
• 이전 연구에서 사용된 대칭성이나 자기 유사성과 같은 강한 가정을 피하고, 학습을 통해 암묵적으로 기하학적 사전 지식을 활용한다.

실험 결과

연구 질문

• RQ1 전체 형태가 아닌 오직 누락된 부분에 집중함으로써 더 나은 포인트 클라우드 완성 결과를 얻을 수 있는가?
• RQ2 기존의 불완전한 입력 기하학적 구조를 유지하는 것이 완성 품질과 강건성에 어떤 영향을 미치는가?
• RQ3 전용 정밀화 단계가 최종 포인트 클라우드의 분포와 연속성에 얼마나 기여하는가?
• RQ4 이러한 방법은 높은 변동성과 복잡한 누락 영역을 가진 도전적인 카테고리에서 어떻게 성능을 발휘하는가?
• RQ5 다양한 크기의 누락된 기하학적 영역에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 ShapeNet 데이터셋에서 최신 기술 수준(SOTA) 방법들을 능가하며, 평균 Chamfer 거리가 Ours-MLP 기준 9.769 × 10⁻⁴으로, 다음으로 우수한 방법보다 7.514 × 10⁻⁴을 기록하였다.
• 정밀화 모듈은 특히 도전적인 클래스에서 완성 품질을 크게 향상시켰다: 램프의 경우 $Pred\rightarrow GT$ 및 $GT\rightarrow Pred$ 오차 모두에서 25.197 → 12.805 × 10⁻⁴로 개선되었으며, 캡의 경우 1.822 → 2.307 × 10⁻⁴로 개선되어 일관된 성능 향상을 보였다.
• 다양한 누락 영역 크기에서 뛰어난 성능 유지를 보였으며, 반경 0.25에서 0.45 사이에서는 일관된 성능 향상이 있었지만, 더 큰 반경(0.55)에서는 약간의 성능 저하가 관찰되어 매우 큰 누락 영역 처리에 한계가 있음을 시사했다.
• 제거 실험을 통해 정밀화 모듈의 중요성이 확인되었으며, 정밀화 모듈을 제거하면 불균형 데이터 처리와 기하학적 비일관성 문제에서 성능이 크게 떨어졌다.
• 내부 클래스 변동성이 높은 카테고리, 특히 램프와 캡에서 강건성과 일반화 능력이 뛰어나 가장 큰 상대적 향상을 기록했다.
• 아키텍처는 효과적이며 효율적이며, 누락된 부분 예측과 정밀화 간의 명확한 기능 분리로 인해, 통합 재구성 접근법보다 더 나은 학습과 더 나은 성능을 달성할 수 있었다.