[논문 리뷰] Decoupled Local Aggregation for Point Cloud Learning

Binjie Chen, Yunzhou Xia외 3명|arXiv (Cornell University)|2023. 08. 31.

3D Surveying and Cultural Heritage인용 수 12

한 줄 요약

본 논문은 DeLA를 도입합니다. 점군의 가벼운 분리형(local) 로컬 집계 프레임워크로, 특징에 공간 정보를 인코딩하고 edge max-pooling이 포함된 간단한 풀링을 사용하여 레이턴시를 줄인 상태에서 최첨단(SOTA) 결과를 달성합니다.

ABSTRACT

The unstructured nature of point clouds demands that local aggregation be adaptive to different local structures. Previous methods meet this by explicitly embedding spatial relations into each aggregation process. Although this coupled approach has been shown effective in generating clear semantics, aggregation can be greatly slowed down due to repeated relation learning and redundant computation to mix directional and point features. In this work, we propose to decouple the explicit modelling of spatial relations from local aggregation. We theoretically prove that basic neighbor pooling operations can too function without loss of clarity in feature fusion, so long as essential spatial information has been encoded in point features. As an instantiation of decoupled local aggregation, we present DeLA, a lightweight point network, where in each learning stage relative spatial encodings are first formed, and only pointwise convolutions plus edge max-pooling are used for local aggregation then. Further, a regularization term is employed to reduce potential ambiguity through the prediction of relative coordinates. Conceptually simple though, experimental results on five classic benchmarks demonstrate that DeLA achieves state-of-the-art performance with reduced or comparable latency. Specifically, DeLA achieves over 90\% overall accuracy on ScanObjectNN and 74\% mIoU on S3DIS Area 5. Our code is available at https://github.com/Matrix-ASC/DeLA .

연구 동기 및 목표

• 로컬 집계에서 공간 관계 학습을 집계로부터 분리하여 복잡성을 감소시키려는 동기에 대해 설명한다.
• 매 단계마다 관계를 학습하지 않고도 로컬 공간 정보를 보존하기 위해 공간 인코딩을 제안한다.
• Interleaved한 점별 연산과 edge 풀링을 사용하여 DeLA를 가벼운 네트워크로 구축한다.
• 공간 인코딩의 활용을 촉진하고 모호성을 줄이기 위한 정규화를 시행한다.
• 분류 및 분할 작업에서도 표준 점군 벤치마크에서 강력한 성능을 입증한다.

제안 방법

• 인코드된 포인트 특징으로부터 국부적으로 상대 좌표를 회복하기 위해 공간 인코딩을 정의한다.
• 표준 로컬 집계를 g, M, h( Equation 7 )를 이용한 셋 임베딩 기반 메시지 패싱으로 분해한다.
• Local Feature Propagation (LFP) 및 edge max-pooling으로 집계를 사용하여 DeLA를 구체화한다.
• 각 단계에서 이웃 관계를 처리하는 작은 PointNet을 통해 공간 인코딩을 형성한다.
• FPS 또는 그리드 하위 샘플링으로 다운샘플링하고 소스 특징을 보존하기 위해 스킵 연결을 사용한다.
• 이웃 점들 간의 상대 좌표를 예측하는 정규화 항을 적용하고 학습 과정에서 이 항을 감소시킨다.

실험 결과

연구 질문

• RQ1 로컬 집계에서 명시적 공간 관계 학습을 분리하는 것이 점군에서 특징 융합의 명확성을 유지하거나 향상시킬 수 있는가?
• RQ2 포인트 특징에 공간 정보를 임베딩하는 것이 기본 풀링으로 경쟁력 있거나 우수한 성능을 달성하게 하는가?
• RQ3 다양한 공간 인코딩과 집계 연산자의 분할 및 분류 작업에 미치는 영향은 무엇인가?
• RQ4 일반 벤치마크에서 정확도와 효율성 면에서 DeLA가 최첨단 방법과 어떻게 비교되는가?

주요 결과

• DeLA는 벤치마크 전반에서 감소되었거나 유사한 대기 시간으로 최첨단 성능을 달성한다.
• S3DIS Area 5에서 DeLA는 OA 92.2, mAcc 80.0, mIoU 74.1을 달성하고 처리량은 468 instances/sec로 나타난다.
• ScanNet v2에서 DeLA는 보고된 방법 중 최상의 검증 mIoU를 달성하며 파라미터 수가 compact(8.0M)이다.
• ShapeNetPart에서 DeLA는 ins. mIoU 87.0 및 cat. mIoU 85.8를 투표 없이 달성하여 다수의 방법과 근접하게 경쟁하거나 이를 능가한다.
• ScanObjectNN 및 ModelNet40에서 DeLA는 각각 OA 90.4 및 94.0을 달성하고 경쟁력 있는 mAcc 89.3 및 92.2를 보인다.
• 성분 분석에서는 상대 공간 인코딩(rel-first 및 rel-rest)이 효과적이며 edge max-pooling이 견고한 집계를 제공함을 보여준다.