[논문 리뷰] APP-Net: Auxiliary-point-based Push and Pull Operations for Efficient Point Cloud Classification

Tao Lu, Chunxu Liu외 3명|arXiv (Cornell University)|2022. 05. 02.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

APP-Net는 보조 점을 사용하여 특성 집계를 수용 영역 확장에서 분리함으로써 중복 계산과 메모리 사용을 제거하는 선형 복잡도의 국소 집계기로 3D 점군 분류를 수행한다. 이는 단일 GPU에서 10,000개 이상의 샘플을 초당 처리할 수 있으며, 10GB 미만의 GPU 메모리만을 사용하여 기존 방법보다 효율성을 뛰어나게 하면서 ModelNet40에서 최신 기준 성능을 유지한다.

ABSTRACT

Aggregating neighbor features is essential for point cloud classification. In the existing work, each point in the cloud may inevitably be selected as the neighbors of multiple aggregation centers, as all centers will gather neighbor features from the whole point cloud independently. Thus each point has to participate in the calculation repeatedly and generates redundant duplicates in the memory, leading to intensive computation costs and memory consumption. Meanwhile, to pursue higher accuracy, previous methods often rely on a complex local aggregator to extract fine geometric representation, which further slows down the classification pipeline. To address these issues, we propose a new local aggregator of linear complexity for point cloud classification, coined as APP. Specifically, we introduce an auxiliary container as an anchor to exchange features between the source point and the aggregating center. Each source point pushes its feature to only one auxiliary container, and each center point pulls features from only one auxiliary container. This avoids the re-computation issue of each source point. To facilitate the learning of the local structure of cloud point, we use an online normal estimation module to provide the explainable geometric information to enhance our APP modeling capability. Our built network is more efficient than all the previous baselines with a clear margin while still consuming a lower memory. Experiments on both synthetic and real datasets demonstrate that APP-Net reaches comparable accuracies to other networks. It can process more than 10,000 samples per second with less than 10GB of memory on a single GPU. We will release the code in https://github.com/MCG-NJU/APP-Net.

연구 동기 및 목표

• 기존 점군 분류 네트워크에서 중복된 근접점 특성 집계로 인한 높은 계산 및 메모리 비용을 해결하기 위해.
• 특성 집계를 수용 영역 확장에서 분리하여 반복되는 계산과 메모리 점유율을 감소시키기 위해.
• 높은 정확도를 유지하면서도 추론 속도와 메모리 효율성을 크게 향상시킬 수 있는 경량이고 효율적인 국소 집계기 설계하기 위해.
• 중복 작업을 최소화하고 보조 컨테이너를 통한 구조화된 특성 교환을 활용하여 대규모 점군에서 실시간 추론을 가능하게 하기 위해.

제안 방법

• 원천 점과 집계 중심 사이의 특성 교환을 중개하기 위해 공유된 보조 점 컨테이너를 도입한다.
• 각 원천 점은 오직 한 개의 보조 컨테이너로만 특성을 푸시하고, 각 중심은 오직 한 개의 컨테이너에서만 특성을 풀리므로 다중 중심 근접 충돌을 제거한다.
• 지오메트릭한 맥락을 제공하여 국소 특성 모델링을 향상시키기 위해 위치 인식 기반의 온라인 법선 추정 모듈을 사용한다.
• 풀 연산 후 특성을 업데이트하기 위해 학습 가능한 델타 함수를 적용하고, 표현 학습을 향상시키기 위해 연결(concatenation)을 사용한다.
• 수용 영역 크기 조절 및 네트워크 깊이 전반에서 성능 유지 목적으로 적응형 다운샘플링과 비율 제어(rd 및 ra)를 채택한다.
• 최종 집계 단계에서 평균 풀링과 최대 풀링을 조합하여 맥락적 특성과 구분 특성을 모두 유지한다.

실험 결과

연구 질문

• RQ1 점군 분류에서 중복 계산과 메모리 사용을 줄이기 위해 선형 복잡도의 국소 집계기를 설계할 수 있는가?
• RQ2 특성 집계를 수용 영역 확장에서 분리하면 정확도를 희생시키지 않고도 효율성을 향상시킬 수 있는가?
• RQ3 보조 점이 비정규적인 점군에서 구조화된 특성 교환을 위한 효과적이고 경량의 메커니즘으로 기능할 수 있는가?
• RQ4 법선 추정을 통해 기하학적 사전 지식을 통합하면 효율적인 국소 집계기의 성능에 어떤 영향을 미치는가?
• RQ5 경쟁적인 분류 정확도를 유지하면서 추론 속도와 메모리 소비를 얼마나 줄일 수 있는가?

주요 결과

• APP-Net는 단일 GPU에서 1초에 10,000개 이상의 점군 샘플을 처리하여 기존 방법보다 추론 속도에서 뚜렷한 우월성을 보였다.
• 모델는 10GB 미만의 GPU 메모리만을 소비하여 기존 기준 대비 뛰어난 메모리 효율성을 입증했다.
• ModelNet40 데이터셋에서 APP-Net는 전체 정확도(OA) 84.3%를 달성하여 더 단순한 아키텍처를 사용하면서도 최신 기준 성능을 유지했다.
• 제거 분석 결과, 풀 단계 이후 델타 함수와의 연결이 가장 뛰어난 성능을 보였으며, 잔차나 정체 연결보다 뛰어났다.
• rd = [8,8,8] 및 ra = [64,64,64]인 3층 네트워크가 가장 높은 정확도를 기록하여 최적의 깊이와 수용 영역 구성임을 시사했다.
• 평균 풀링과 최대 풀링을 조합한 결과가 가장 뛰어난 성능(84.3% OA)을 기록했으며, 개별 풀링 전략이나 위치 적응형 풀링보다 뛰어났다.