[논문 리뷰] SoftPoolNet: Shape Descriptor for Point Cloud Completion and Classification

Yida Wang, David Joseph Tan외 2명|arXiv (Cornell University)|2020. 08. 17.

3D Shape Modeling and Analysis참고 문헌 26인용 수 5

한 줄 요약

SoftPoolNet은 점군 처리에서 특징 학습을 향상시키기 위해 새로운 소프트 풀링 메커니즘과 지역적 컨벌루션을 도입하여 3D 점군 복원 및 분류 분야에서 최신 기술 수준의 성능을 달성한다. 여러 높은 활성도 특징을 유지하고 지역 인식형 디컨벌루션 유사 연산을 사용함으로써 기존 방법들에 비해 뛰어난 재구성 정밀도와 효율성을 달성한다.

ABSTRACT

Point clouds are often the default choice for many applications as they exhibit more flexibility and efficiency than volumetric data. Nevertheless, their unorganized nature -- points are stored in an unordered way -- makes them less suited to be processed by deep learning pipelines. In this paper, we propose a method for 3D object completion and classification based on point clouds. We introduce a new way of organizing the extracted features based on their activations, which we name soft pooling. For the decoder stage, we propose regional convolutions, a novel operator aimed at maximizing the global activation entropy. Furthermore, inspired by the local refining procedure in Point Completion Network (PCN), we also propose a patch-deforming operation to simulate deconvolutional operations for point clouds. This paper proves that our regional activation can be incorporated in many point cloud architectures like AtlasNet and PCN, leading to better performance for geometric completion. We evaluate our approach on different 3D tasks such as object completion and classification, achieving state-of-the-art accuracy.

연구 동기 및 목표

• 딥 러닝 파이프라인에서 순서가 없고 비구조화된 점군을 처리하는 데 도전하는 것.
• 부분 점군으로부터 고해상도이고 세밀한 재구성을 생성함으로써 3D 형태 복원을 향상시키는 것.
• AtlasNet 및 PCN와 같은 기존 아키텍처와 호환 가능한 일반화 가능한 특징 학습 프레임워크를 개발하는 것.
• 체적 기반 방법에 비해 계산 비용과 메모리 사용량을 줄이면서 성능을 유지하거나 향상시키는 것.
• 지역 활성도 기반 풀링을 통해 순열 불변성과 강건한 특징 추출을 가능하게 하는 것.

제안 방법

• 최대 풀링의 대체로 소프트 풀링을 도입하여 단지 최대값이 아닌 여러 높은 활성도 특징을 유지한다.
• 디코디어에서 지역적 컨벌루션을 사용하여 전반적인 활성도 엔트로피를 향상시키고 세밀한 세부 사항 복원을 향상시킨다.
• PCN에서 영감을 얻은 패치 변형 연산을 통합하여 점군에 대해 디컨벌루션 유사 행동을 시뮬레이션한다.
• 재구성 과정을 안내하기 위해 상호 영역, 내부 영역, 경계 및 형태 유지 손실을 포함하는 다중 손실 훈련 방식을 사용한다.
• 활성도 패턴에 기반해 특징을 그룹화하는 학습 가능한 영역 할당 메커니즘을 통합하여 구조화된 특징 학습을 가능하게 한다.
• 다양이 가능하고 순열 불변인 아키텍처를 설계하여 원시 점군에서 엔드 투 엔드 훈련을 지원한다.

실험 결과

연구 질문

• RQ1 소프트 풀링이 최대값이 아닌 여러 높은 활성도 특징을 유지함으로써 점군 네트워크의 특징 표현을 향상시킬 수 있는가?
• RQ2 지역적 컨벌루션은 표준 컨벌루션에 비해 3D 형태 복원 품질을 어떻게 향상시키는가?
• RQ3 제안된 방법이 AtlasNet 및 PCN와 같은 다양한 점군 아키텍처에 얼마나 일반화되는가?
• RQ4 소프트 풀링과 지역적 컨벌루션의 조합이 얇은 구조에서 더 뛰어난 재구성 정밀도와 세부 사항 복원을 이끌 수 있는가?
• RQ5 체적 기반 및 점기반 기준선에 비해 제안된 방법은 추론 속도와 메모리 효율성 측면에서 어떻게 비교되는가?

주요 결과

• SoftPoolNet은 ModelNet40 분류에서 92.28%의 정확도를 달성하여 RS-PointNet 및 RS-DGCNN를 포함한 이전 방법들을 능가한다.
• ShapeNet 부분 기반 분류 벤치마크에서 84.32%의 정확도를 기록하여 비교된 모든 방법들을 능가한다.
• 8개의 영역을 사용할 때 Chamfer Distance가 5.94×10⁻³으로 감소하여 뛰어난 기하학적 재구성 품질을 나타낸다.
• 모든 점군 및 체적 기반 방법 중에서 가장 낮은 추론 시간(0.04초)을 기록하여 FoldingNet 및 PCN조차도 능가한다.
• 제거 실험 결과, 상호 영역, 내부 영역, 경계 및 유지 손실 성분 모두가 최적 성능을 내기 위해 필수적임을 확인한다.
• 입력 점군의 순서를 뒤섞어도 일관된 재구성 품질을 보여 주어 순열 불변성을 유지함을 입증한다.