[논문 리뷰] APSNet: Attention Based Point Cloud Sampling

Yang Ye, Xiulong Yang외 1명|arXiv (Cornell University)|2022. 10. 11.

3D Surveying and Cultural Heritage인용 수 6

한 줄 요약

APSNet는 인코딩된 점군을 순차적으로 선택하는 어텐션 기반의 샘플링 방법을 제안하며, 이는 LSTM에 어텐션 메커니즘을 적용하여 이전에 선택된 점들을 기반으로 점진적으로 정보가 풍부한 점들을 선택하는 자동회귀적 과정으로 모델링한다. 이는 3D 분류, 재구성, 정렬 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 낮은 샘플 크기(m ≤ 128)에서 이전 방법 대비 최대 8%의 정확도 향상을 보였다. 또한 단일 컴act 모델을 통해 다양한 샘플 길이에 대한 공동 학습을 지원한다.

ABSTRACT

Processing large point clouds is a challenging task. Therefore, the data is often downsampled to a smaller size such that it can be stored, transmitted and processed more efficiently without incurring significant performance degradation. Traditional task-agnostic sampling methods, such as farthest point sampling (FPS), do not consider downstream tasks when sampling point clouds, and thus non-informative points to the tasks are often sampled. This paper explores a task-oriented sampling for 3D point clouds, and aims to sample a subset of points that are tailored specifically to a downstream task of interest. Similar to FPS, we assume that point to be sampled next should depend heavily on the points that have already been sampled. We thus formulate point cloud sampling as a sequential generation process, and develop an attention-based point cloud sampling network (APSNet) to tackle this problem. At each time step, APSNet attends to all the points in a cloud by utilizing the history of previously sampled points, and samples the most informative one. Both supervised learning and knowledge distillation-based self-supervised learning of APSNet are proposed. Moreover, joint training of APSNet over multiple sample sizes is investigated, leading to a single APSNet that can generate arbitrary length of samples with prominent performances. Extensive experiments demonstrate the superior performance of APSNet against state-of-the-arts in various downstream tasks, including 3D point cloud classification, reconstruction, and registration.

연구 동기 및 목표

• FPS와 같은 작업에 종속되지 않는 샘플링 방법의 한계를 해결하기 위해, 후속 작업에 유의미하지 않은 점들을 선택하는 문제를 해결하고자 한다.
• 이전에 샘플된 점들에 기반해 동적으로 점들을 선택하는 작업 중심의 샘플링 전략을 개발하여 특정 작업에 적합한 높은 품질의 샘플을 향상시키고자 한다.
• 다양한 샘플 크기를 효율적으로 생성할 수 있도록 단일 모델을 공동 학습시켜, 각 샘플 크기마다 별도의 모델을 재학습할 필요를 줄이고자 한다.
• APSNet에 대해 지도 학습과 자기지도 학습(Knowledge Distillation) 모두를 탐색하여, 레이블이 없는 환경에서도 일반화 성능을 향상시키고자 한다.

제안 방법

• 모든 점군 샘플링을 순차적 자동회귀 생성 과정으로 모델링하여, 각 신규 점은 이전에 선택된 점들의 이력에 기반해 선택된다.
• 모든 점군 내에서의 정보를 고려하기 위해 어텐션 메커니즘을 갖춘 LSTM을 활용하여, 다음으로 가장 정보가 풍부한 점을 선택하기 위한 맥락 인식 표현을 계산한다.
• 순차적 샘플링 과정 이전에 입력 점군으로부터 기하학적 특징을 추출하기 위해 단순화된 PointNet 백본을 사용한다.
• 8, 16, 32, 64, 128의 다수 샘플 크기(C_s = {8,16,32,64,128})에 걸쳐 공동 학습 전략을 도입하여, 단일 APSNet 모델이 다양한 길이의 샘플을 생성할 수 있도록 한다.
• 이중 손실 최적화를 적용한다: 작업에 특화된 손실(e.g., 분류 또는 재구성)과 샘플 세트의 다양성과 정보성 향상을 유도하는 샘플링 손실.
• 지식 정착(Knowledge Distillation)을 통한 자기지도 학습을 지원하며, 레이블이 없는 추론 과정에서도 레이블이 있는 데이터로 학습된 교사 모델의 지식을 학습자 모델(APSNet)이 습득할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 순차적 어텐션 기반 샘플링 방법이 FPS나 격자 기반 샘플링과 같은 일회성 작업에 종속되지 않는 방법보다 3D 비전 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ2 자동회귀적 LSTM에 어텐션을 적용하여 샘플 간 의존성을 모델링하면, 비순차적 샘플링 네트워크인 SampleNet과 비교해 샘플 품질이 향상되는가?
• RQ3 다양한 샘플 크기에서 고성능 샘플을 생성할 수 있도록 단일 APSNet 모델을 공동 학습시킬 수 있는가? 재학습 없이도 가능한가?
• RQ4 레이블이 없는 환경에서 자기지도 학습(Knowledge Distillation)이 APSNet 학습에 얼마나 효과적인가?

주요 결과

• 3D 점군 분류 작업에서 m ≤ 128의 낮은 샘플 크기에서 APSNet은 SampleNet-M 대비 2%에서 8%의 정확도 향상을 보이며 뛰어난 샘플 품질을 입증하였다.
• APSNet-G는 자동회귀 설계 덕분에 비용이 많이 드는 매칭 단계 없이도 중복된 점 생성을 방지하여, 특히 낮은 m에서 SampleNet-M보다 끊임없이 뛰어난 성능을 보였다.
• 다양한 샘플 크기에서 공동 학습된 APSNet-Joint은 모든 m 값에서 경쟁력 있는 성능을 달성하였으며, 별도로 학습된 SampleNet 모델들을 항상 능가하였다.
• 레이블이 없는 환경에서 지식 정착을 통해 학습된 APSNet-KD는 완전히 지도 학습된 APSNet과 거의 동일한 성능을 달성하여 자기지도 설정에서 강력한 일반화 능력을 입증하였다.
• m = 512일 때, 모든 방법이 전체 점군 분류의 상한 정확도(90.1%)에 수렴함을 확인하여 고샘플링 비율에서 성능가 포화 상태에 도달함을 확인하였다.