[논문 리뷰] PF-Net: Point Fractal Network for 3D Point Cloud Completion

Zitian Huang, Yikuan Yu외 3명|arXiv (Cornell University)|2020. 03. 01.

3D Shape Modeling and Analysis참고 문헌 33인용 수 38

한 줄 요약

PF-Net은 입력 부분 지점 구름을 보존하고 다중 스케일 프랙탈과 적대적 손실로 missing regions를 계층적으로 예측하여 고충실도 3D 포인트 클라우드 완성을 달성한다.

ABSTRACT

In this paper, we propose a Point Fractal Network (PF-Net), a novel learning-based approach for precise and high-fidelity point cloud completion. Unlike existing point cloud completion networks, which generate the overall shape of the point cloud from the incomplete point cloud and always change existing points and encounter noise and geometrical loss, PF-Net preserves the spatial arrangements of the incomplete point cloud and can figure out the detailed geometrical structure of the missing region(s) in the prediction. To succeed at this task, PF-Net estimates the missing point cloud hierarchically by utilizing a feature-points-based multi-scale generating network. Further, we add up multi-stage completion loss and adversarial loss to generate more realistic missing region(s). The adversarial loss can better tackle multiple modes in the prediction. Our experiments demonstrate the effectiveness of our method for several challenging point cloud completion tasks.

연구 동기 및 목표

• 부분 포인트 클라우드의 기존 점을 바꾸지 않고 incomplete 3D 포인트 클라우드를 강건하게 복원하도록 동기를 부여한다.
• 공간 배열을 보존하면서 누락 기하를 추론하는 계층적이고 다중 스케일 생성기를 개발한다.
• 새로운 다중 해상도 인코더를 사용하여 부분 입력으로부터 풍부한 다중 스케일 특징을 추출한다.
• 특징 포인트에 의해 누락 영역의 포인트를 세 가지 스케일로 출력하는 Point Pyramid Decoder를 사용하여 생겨나는 생성 왜곡을 줄이고 디테일을 보존한다.
• 다중 단계 보완 손실과 적대적 손실을 도입하여 현실감을 개선하고 다중 출력 모드를 처리한다.

제안 방법

• 부분 포인트 구름에서 다중 스케일 특징을 추출하기 위해 Combined Multi-Layer Perception(CMLP)와 함께 Multi-Resolution Encoder(MRE)을 도입한다.
• Encoder의 다중 해상도에서 특징 포인트를 얻기 위해 Iterative Farthest Point Sampling(IFPS)을 사용한다.
• Feature 포인트를 안내로 삼아 주/보조/세부 포인트 레이어를 통해 세 가지 스케일의 누락 영역 포인트를 출력하는 계층적 Point Pyramid Decoder(PPD)를 설계한다.
• 누락 영역 예측을 누락 영역의 다중 해상도에서의 ground-truth 서브샘플에 대해 비교하는 다중 단계 보완 손실을 채택한다.
• Discriminator가 PF-Net이 더 현실적인 누락 영역 포인트 구름을 생성하도록 안내하는 적대적 손실로 학습한다.
• 완성 손실과 적대적 손실을 결합하여 기하학적 충실도와 현실감의 균형을 맞춘 공동 목적 함수를 사용한다.

실험 결과

연구 질문

• RQ1 부분 포인트 구름은 기존 구조를 보존하면서 누락 영역만 예측함으로써 보수적으로 복원될 수 있는가?
• RQ2 다중 해상도, 특징 포인트 구동 인코더-디코더가 지역적 및 전역 기하를 완전히 활용하여 예측 영역의 디테일을 향상시키는가?
• RQ3 계층적이고 프랙탈과 같은 디코더가 genus 관점의 왜곡을 줄이고 누락 영역의 디테일 보존을 개선하는가?
• RQ4 적대적 학습이 포인트 구름 보완의 현실감과 다중 모드 예측 문제를 개선하는가?

주요 결과

Category	LGAN-AE	PCN	3D-Capsule	PF-Net(vanilla)	PF-Net
Airplane	0.856 / 0.722	0.800 / 0.800	0.826 / 0.881	0.284 / 0.231	0.263 / 0.238
Bag	3.102 / 2.994	2.954 / 3.063	3.228 / 2.722	0.927 / 0.934	0.926 / 0.772
Cap	3.530 / 2.823	3.466 / 2.674	3.439 / 2.844	1.308 / 1.027	1.226 / 1.169
Car	2.232 / 1.687	2.324 / 1.738	2.503 / 1.913	0.616 / 0.431	0.599 / 0.424
Chair	1.541 / 1.473	1.592 / 1.538	1.678 / 1.563	0.472 / 0.420	0.487 / 0.427
Guitar	0.394 / 0.354	0.367 / 0.406	0.298 / 0.461	0.097 / 0.094	0.108 / 0.091
Lamp	3.181 / 1.918	2.757 / 2.003	3.271 / 1.912	1.041 / 0.616	1.037 / 0.640
Laptop	1.206 / 1.030	1.191 / 1.155	1.276 / 1.254	0.309 / 0.244	0.301 / 0.245
Motorbike	1.828 / 1.455	1.699 / 1.459	1.591 / 1.664	0.524 / 0.414	0.522 / 0.389
Mug	2.732 / 2.946	2.893 / 2.821	3.086 / 2.961	0.793 / 0.776	0.745 / 0.739
Pistol	1.113 / 0.967	0.968 / 0.958	1.089 / 1.086	0.270 / 0.237	0.252 / 0.244
Skateboard	0.887 / 1.020	0.816 / 1.206	0.897 / 1.262	0.289 / 0.288	0.225 / 0.172
Table	1.694 / 1.601	1.604 / 1.790	1.870 / 1.749	0.505 / 0.417	0.525 / 0.404
Mean	1.869 / 1.615	1.802 / 1.662	1.927 / 1.713	0.572 / 0.471	0.555 / 0.458
Category	LGAN-AE	PCN	3D-Capsule	PF-Net(vanilla)	PF-Net
Airplane	3.357 / 1.130	5.060 / 1.243	2.676 / 1.401	1.197 / 1.006	1.091 / 1.070
Bag	5.707 / 5.303	3.251 / 4.314	5.228 / 4.202	3.946 / 4.054	3.929 / 3.768
Cap	8.968 / 4.608	7.015 / 4.240	11.04 / 4.739	5.519 / 4.470	5.290 / 4.800
Car	4.531 / 2.518	2.741 / 2.123	5.944 / 3.508	2.537 / 1.848	2.489 / 1.839
Chair	7.359 / 2.339	3.952 / 2.301	3.049 / 2.207	1.998 / 1.828	2.074 / 1.824
Guitar	0.838 / 0.536	1.419 / 0.689	0.625 / 0.662	0.435 / 0.435	0.456 / 0.429
Lamp	8.464 / 3.627	11.61 / 7.139	9.912 / 5.847	5.252 / 3.059	5.122 / 3.460
Laptop	7.649 / 1.413	3.070 / 1.422	2.129 / 1.733	1.291 / 1.013	1.247 / 0.997
Motorbike	4.914 / 2.036	4.962 / 1.922	8.617 / 2.708	2.229 / 1.876	2.206 / 1.775
Mug	6.139 / 4.735	3.590 / 3.591	5.155 / 5.168	3.228 / 3.332	3.138 / 3.238
Pistol	3.944 / 1.424	4.484 / 1.414	5.980 / 1.782	1.267 / 1.012	1.122 / 1.055
Skateboard	5.613 / 1.683	3.025 / 1.740	11.49 / 2.044	1.198 / 1.257	1.136 / 1.337
Table	2.658 / 2.484	2.503 / 2.452	3.929 / 3.098	2.184 / 1.928	2.235 / 1.934
Mean	5.395 / 2.603	4.360 / 2.661	5.829 / 3.008	2.483 / 2.086	2.426 / 2.117

• PF-Net은 전반적인 완성 품질과 누락 영역 품질에서 대부분의 카테고리에서 기준 방법보다 우수하다.
• Discriminator의 포함은 대부분의 카테고리에서 예측 품질을 향상시킨다.
• CMLP와 MR-CMLP가 특징 추출 성능을 향상시키며, PF-Net은 PPD 디코더를 통해 디테일 보존을 추가로 향상시킨다.
• 모델은 불완전 입력의 다양한 정도(25%, 50%, 75%)에 대해 강건함을 보이며 여러 누락 부품을 다룰 수 있다.
• 정량적 결과에서 PF-Net 및 PF-Net(vanilla)이 대부분의 카테고리와 13개 카테고리의 평균에서 Pred→GT 및 GT→Pred 오차가 더 낮은 것을 보인다.