[논문 리뷰] Cascaded Refinement Network for Point Cloud Completion

Xiaogang Wang, Marcelo H. Ang외 1명|arXiv (Cornell University)|2020. 04. 07.

3D Shape Modeling and Analysis참고 문헌 53인용 수 19

한 줄 요약

이 논문은 부분적인 입력에서 국소적 세부 정보를 유지하면서 고해상도의 누락된 부분을 총괄적인 전략을 통해 생성하는 3D 포인트 클라우드 복원을 위한 계단식 정밀화 네트워크를 제안한다. 패치 기반 판별자, 반복적 정밀화, 특징 압축-확장 모듈을 조합함으로써, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 더 높은 세부 정보 충실도와 더 작은 모델 크기를 확보하였다.

ABSTRACT

Point clouds are often sparse and incomplete. Existing shape completion methods are incapable of generating details of objects or learning the complex point distributions. To this end, we propose a cascaded refinement network together with a coarse-to-fine strategy to synthesize the detailed object shapes. Considering the local details of partial input with the global shape information together, we can preserve the existing details in the incomplete point set and generate the missing parts with high fidelity. We also design a patch discriminator that guarantees every local area has the same pattern with the ground truth to learn the complicated point distribution. Quantitative and qualitative experiments on different datasets show that our method achieves superior results compared to existing state-of-the-art approaches on the 3D point cloud completion task. Our source code is available at https://github.com/xiaogangw/cascaded-point-completion.git.

연구 동기 및 목표

• 희소하고 불완전한 포인트 클라우드에서 고해상도이고 세밀한 3D 형상을 생성하는 데 도전하는 것.
• 기존 방법들이 부분 입력에서 의자 다리와 같은 세밀한 구조적 세부 정보를 유지하지 못하는 한계를 극복하는 것.
• 재구성 손실과 적대적 손실을 동시에 최적화하여 더 높은 기하학적 현실감을 달성하는 계층적 전략을 개발하는 것.
• 패치 기반 판별자를 통해 국소 패턴 일관성을 강제하여 복잡한 포인트 분포를 학습하는 것.
• 이전 최신 기술 수준의 방법들에 비해 성능을 유지하거나 향상시키면서도 모델 크기를 줄이는 것.

제안 방법

• 생성자는 세 단계 아키텍처를 사용한다: 최대 풀링을 통한 두 개의 MLP를 통한 특징 추출, 완전한 연결층을 이용한 거친 재구성, 그리고 리프팅 모듈을 갖춘 계단식 정밀화 서브넷을 통한 조밀한 재구성.
• 불완전한 입력을 거친 거친 출력에 스킵 연결을 적용하여 기존의 구조적 세부 정보를 유지한다.
• 특징 압축 및 확장 유닛을 갖춘 반복적 정밀화 디코더가 국소 및 글로벌 수준에서 점진적으로 점의 위치를 정밀화한다.
• 패치 기반 판별자는 생성된 포인트 클라우드와 진짜 포인트 클라우드의 패치를 비교하여 국소 구조적 일관성을 강제함으로써 진짜 분포에 대한 충실도를 향상시킨다.
• 기하학적 정확도와 시각적 현실감을 동시에 최적화하기 위해 적대적 훈련과 재구성 손실(체이밍 디스턴스)을 조합한다.
• 일반화 및 대칭성 학습을 향상시키기 위해 훈련 중 부분 입력에 거울 증강을 적용한다.

실험 결과

연구 질문

• RQ1 계단식 정밀화 전략은 부분 포인트 클라우드에서 세밀한 구조적 세부 정보를 유지하면서도 현실적인 누락된 부분을 생성할 수 있는가?
• RQ2 전역 판별자에 비해 패치 기반 판별자는 복잡한 포인트 분포 모델링에 어떻게 기여하는가?
• RQ3 압축-확장 유닛을 갖춘 반복적 정밀화는 포인트 클라우드의 밀도와 기하학적 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 방법은 표준 3D 복원 벤치마크에서 기존 최신 기술 수준의 방법들보다 더 뛰어난 성능을 달성하는가?
• RQ5 더 적은 파라미터와 더 작은 모델 크기로도 높은 성능을 유지할 수 있는가?

주요 결과

• ShapeNet 데이터셋에서 20% 손실 수준에서 제안된 방법은 체이밍 디스턴스(CD) 5.52 × 10⁻⁴를 기록하여 PCN(7.69 × 10⁻⁴)과 TopNet(8.46 × 10⁻⁴)를 앞서며 우수한 성능을 보였다.
• 70% 손실 수준에서 CD는 21.27 × 10⁻⁴로 측정되어 PCN(23.60 × 10⁻⁴)과 TopNet(23.20 × 10⁻⁴)보다 유의미하게 낮아, 고수준의 누락 데이터에 대한 강건성을 입증하였다.
• 생성된 포인트 클라우드의 분류 정확도는 94.17%에 달하며, PCN과 TopNet 대비 1.59%포인트 향상되어 더 높은 의미론적 충실도를 나타냈다.
• 모델은 5.14M 파라미터와 61.90MB 크기를 가지며, PCN(6.85M, 82.30MB)과 TopNet(9.96M, 79.80MB)보다 더 작아 효율성이 향상됨을 보여주었다.
• 절단 실험 결과, 판별자, 평균 형상, 압축-확장 유닛, 거울 연산 중 어느 하나라도 제거하면 성능이 저하됨을 확인하여 각 모듈의 기여도를 검증하였다.
• 형상 보간 결과는 잠재 벡터 간의 부드러운 전이를 보여주며, 학습된 특징들이 의미 있는 기하학적 의미를 유지하고 있음을 확인하였다.