[논문 리뷰] Adaptive Hierarchical Down-Sampling for Point Cloud Classification

Ehsan Nezhadarya, Ehsan Taghavi외 3명|arXiv (Cornell University)|2019. 04. 11.

3D Shape Modeling and Analysis참고 문헌 30인용 수 7

한 줄 요약

이 논문은 점군 분류를 위한 새로운 결정론적, 적응형, 순열 불변의 다운샘플링 레이어인 크리티컬 포인츠 레이어(CPL)를 제안한다. 랜덤 또는 k-NN 기반 방법과는 달리, CPL은 다운샘플링 과정에서 가장 중요한(크리티컬한) 점들을 유지하도록 학습하여 계산 비용을 줄이면서도 높은 정확도의 3D 객체 분류를 가능하게 한다. CPL을 사용한 CP-Net는 ModelNet40에서 92.41%의 정확도를 달성하여 최신 기법들을 능가하면서도 효율성을 유지한다.

ABSTRACT

While several convolution-like operators have recently been proposed for extracting features out of point clouds, down-sampling an unordered point cloud in a deep neural network has not been rigorously studied. Existing methods down-sample the points regardless of their importance for the output. As a result, some important points in the point cloud may be removed, while less valuable points may be passed to the next layers. In contrast, adaptive down-sampling methods sample the points by taking into account the importance of each point, which varies based on the application, task and training data. In this paper, we propose a permutation-invariant learning-based adaptive down-sampling layer, called Critical Points Layer (CPL), which reduces the number of points in an unordered point cloud while retaining the important points. Unlike most graph-based point cloud down-sampling methods that use $k$-NN search algorithm to find the neighbouring points, CPL is a global down-sampling method, rendering it computationally very efficient. The proposed layer can be used along with any graph-based point cloud convolution layer to form a convolutional neural network, dubbed CP-Net in this paper. We introduce a CP-Net for $3$D object classification that achieves the best accuracy for the ModelNet$40$ dataset among point cloud-based methods, which validates the effectiveness of the CPL.

연구 동기 및 목표

• 기존의 다운샘플링 방법이 무작위 또는 히우리스틱 방식으로 점들을 기각함으로써 중요한 기하학적 정보를 손실할 수 있는 한계를 해결하기 위해.
• 작업에 특화된 중요한 점들을 적응적으로 학습하여 유지할 수 있는 결정론적, 순열 불변이며 적응형의 다운샘플링 레이어를 개발하기 위해.
• 제안된 레이어를 3D 객체 분류를 위한 딥러닝 아키텍처에 통합하여 정확도를 향상시키면서도 계산 부담을 줄이기 위해.
• 점군 처리 파이프라인에서 랜덤 또는 k-NN 기반 다운샘플링에 대한 더 효율적이고 신뢰할 수 있는 대안을 제공하기 위해.

제안 방법

• 학습된 중요도 점수에 기반해 점들을 선택하는 글로벌, 결정론적, 순열 불변의 다운샘플링 레이어인 크리티컬 포인츠 레이어(CPL)를 제안한다.
• CPL은 미분 가능한 어텐션 메커니즘을 사용해 각 점에 대해 학습 가능한 중요도 점수를 계산하며, 이는 다운샘플링 연산을 통해 역전파가 가능하게 한다.
• 가장 높은 중요도 점수를 가진 상위-k 점들을 선택하여 글로벌 다운샘플링을 수행함으로써 출력이 입력 점들의 부분집합이 되도록 보장한다.
• 더욱 정교한 중요한 점 선택을 위해 학습 가능한 가중치를 사용하는 가중치 버전인 WCPL을 도입한다.
• 그래프 기반 컨볼루션 레이어와 함께 C-Net이라는 계층적 네트워크 아키텍처에 CPL과 WCPL을 통합하여 3D 특징 학습을 수행한다.
• 교차 엔트로피 손실을 사용해 전체 CP-Net을 엔드 투 엔드로 훈련함으로써 다운샘플링 레이어가 작업에 특화된 중요한 점들을 적응적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 무작위 또는 k-NN 기반 방법보다 결정론적이고 적응형인 다운샘플링 레이어가 순서가 없는 점군에서 중요한 기하학적 특징을 더 효과적으로 유지할 수 있는가?
• RQ2 분류 정확도와 추론 효율성 측면에서 제안된 CPL 레이어는 기존의 다운샘플링 기법들과 비교해 어떻게 성능을 냈는가?
• RQ3 CPL의 글로벌 특성은 이웃 기반 다운샘플링 방법에 비해 계산 복잡도를 얼마나 줄이는가?
• RQ4 CP-Net에 CPL을 통합함으로써 표준 3D 객체 분류 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CP-Net는 ModelNet40 데이터셋에서 92.41%의 분류 정확도를 달성하여, 더 큰 버티브 브로드너 크기를 가진 PointNet(89.20%)과 DGCNN(91.84%)를 능가한다.
• 버티브 브로드너 크기가 단지 64인 경우에도 CP-Net는 1024차원 버티브 브로드너를 가진 PointNet를 능가하는 89.35%의 정확도를 달성한다.
• 다운샘플링 비율의 변화가 정확도에 미치는 영향은 미미하다: CPL을 사용할 경우 1024점에서 64점으로 줄였을 때 정확도가 단지 0.73% 감소하여 강력한 특징 유지 능력을 보여준다.
• CPL을 무작위 다운샘플링으로 교체하면 비율 1/4일 때 CP-Net의 정확도가 91.47%로 떨어지며, 이는 적응적 선택의 우수성을 입증한다.
• CP-Net는 P100 GPU에서 배치당 118.9ms로 실행되며, 더 큰 모델 크기(57MB)를 가짐에도 불구하고 PointNet++(232.2ms)과 DGCNN(134.5ms)을 능가한다.
• 제안된 방법은 결정론적이며 순열 불변이므로, 동일한 입력에 대해 일관된 추론 출력을 보장하며, 이는 랜덤 샘플러와는 다릅니다.