[논문 리뷰] Completing Partial Point Clouds with Outliers by Collaborative Completion and Segmentation

Changfeng Ma, Yang Yang외 3명|arXiv (Cornell University)|2022. 03. 18.

Textile materials and evaluations인용 수 6

한 줄 요약

이 논문은 잡음과 이방점이 포함된 부분적인 포인트 클라우드에서 완전하고 깨끗한 3D 형상을 복원하기 위해 포인트 클라우드 복원과 이방점 분류를 동시에 수행하는 엔드 투 엔드 계단식 딥러닝 프레임워크인 CS-Net을 제안한다. 완성 및 분류 모듈을 번갈아 가며 특징을 공동으로 개선하고, 레이블 승수-FPS 디코더와 KNN 그룹화 정련을 도입함으로써, 새로 구축한 기준 데이터셋에서 상태의 기준 성능을 달성하며, Chamfer Distance는 6.98, mAcc는 93.53%를 기록한다.

ABSTRACT

Most existing point cloud completion methods are only applicable to partial point clouds without any noises and outliers, which does not always hold in practice. We propose in this paper an end-to-end network, named CS-Net, to complete the point clouds contaminated by noises or containing outliers. In our CS-Net, the completion and segmentation modules work collaboratively to promote each other, benefited from our specifically designed cascaded structure. With the help of segmentation, more clean point cloud is fed into the completion module. We design a novel completion decoder which harnesses the labels obtained by segmentation together with FPS to purify the point cloud and leverages KNN-grouping for better generation. The completion and segmentation modules work alternately share the useful information from each other to gradually improve the quality of prediction. To train our network, we build a dataset to simulate the real case where incomplete point clouds contain outliers. Our comprehensive experiments and comparisons against state-of-the-art completion methods demonstrate our superiority. We also compare with the scheme of segmentation followed by completion and their end-to-end fusion, which also proves our efficacy.

연구 동기 및 목표

• 기존의 포인트 클라우드 복원 방법들이 깨끗하고 이방점이 없는 입력을 전제로 하여 실제 스캐닝 환경과는 맞지 않는 심각한 격차를 해결하기 위해.
• 이방점과 노이즈에 더 강건한 성능을 발휘하기 위해 복원과 분류를 동시에 수행하는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 완성 및 분류 브랜치 간 상호 특징 정련을 가능하게 하는 계단식 아키텍처를 설계하여 복원 품질과 분류 정확도를 향상시키기 위해.
• ScanNet v2, ShapeNet, 그리고 Scan2CAD에서 유래한 이방점이 포함된 부분적인 포인트 클라우드를 시뮬레이션하는 실세계 스캐닝 시나리오를 반영한 새로운 기준 데이터셋을 구축하고 공개하기 위해.
• 분류 우선 또는 융합 기반의 순차적 파이프라인과의 비교를 통해 공동 엔드 투 엔드 학습의 우수성을 체계적으로 검증하기 위해.

제안 방법

• CS-Net은 완성 및 분류 브랜치에서 유도된 특징을 공동으로 정련하는 교차 작용을 하는 CS-Blocks를 포함한 계단식 엔드 투 엔드 아키텍처를 사용한다.
• 새로운 레이블 승수-FPS 모듈은 원거리 점 샘플링에 분류 레이블을 통합하여 복원 중에 목표 물체의 점을 우선시함으로써 입력 포인트 클라우드의 정제를 가능하게 한다.
• KNN 그룹화는 인코더에 통합되어 더 나은 생성을 위해 고확률 점 위치를 식별함으로써 국소 기하학적 세부 정보 복원을 향상시킨다.
• 완성 디코더는 분류 레이블과 FPS를 활용하여 노이즈 점을 억제하고 복원 정밀도를 향상시킨다.
• 계단식 구조를 통해 완성 및 분류 브랜치 간 특징 공유 및 정련이 이루어져 두 작업 간 상호 촉진이 가능하다.
• 네트워크는 ScanNet v2, ShapeNet, 그리고 Scan2CAD에서 유도된 새로운 데이터셋을 기반으로 훈련되며, 실세계의 부분적인 포인트 클라우드에 이방점이 포함된 시나리오를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 입력에 상당한 이방점과 노이즈가 포함된 경우, 엔드 투 엔드 딥러닝 프레임워크가 포인트 클라우드 복원 및 분류 성능을 동시에 향상시킬 수 있는가?
• RQ2 완성 및 분류 모듈 간 공동 학습이 복원 품질과 분류 정확도 측면에서 순차적 또는 독립적 처리 방식보다 어떻게 비교되는가?
• RQ3 레이블 승수-FPS 또는 KNN 그룹화와 같은 아키텍처 구성 요소 중에서 이방점에 강건한 복원에서 성능 향상에 가장 기여하는 것은 무엇인가?
• RQ4 다중 CS-Blocks를 포함한 계단식 정련 구조는 복원 및 분류 지표에 대해 일관된 향상을 이끌어내는가?
• RQ5 제안된 프레임워크는 다양한 백본 네트워크에 대해 얼마나 일반화 가능한가?

주요 결과

• CS-Net은 새로운 기준 데이터셋에서 Chamfer Distance(CD)를 6.98로 기록하여 PMP-Net(10.12) 및 SnowflakeNet(11.72)과 같은 최신 기술을 크게 앞서는 성능을 달성한다.
• 2개 클래스 분류 작업에서 평균 정확도(mAcc)는 93.53%를 기록하여 PointNet++(92.50), PSV(88.77), Point Transformer(93.07)를 초월한다.
• 절단 분석 결과, 레이블 승수-FPS 모듈이 CD를 10.449에서 7.427로 감소시켜 노이즈 억제 및 입력 정제에 핵심적인 역할을 한다는 것이 확인되었다.
• KNN 그룹화 정련을 통합함으로써 성능이 더욱 향상되어 CD는 6.981로 감소하고, mAcc는 M=3개의 CS-Blocks에서 93.53%로 상승한다.
• 네 개의 CS-Blocks(M=4)를 사용할 경우 세 개의 블록(M=3)에 비해 성능 향상이 미미하여, M=3이 성능과 계산 비용 사이의 최적의 균형을 이룬다는 것이 확인되었다.
• 다양한 백본 네트워크(예: PointNet++, PointNet++, Point Transformer)에서 분류 정확도 향상이 관찰되어, 다양한 특징 추출기와의 강력한 일반화성 및 호환성을 보였다.