[논문 리뷰] Advanced Feature Learning on Point Clouds using Multi-resolution Features and Learnable Pooling

Kevin Tirta Wijaya, Dong-Hee Paek외 1명|arXiv (Cornell University)|2022. 05. 20.

3D Shape Modeling and Analysis인용 수 21

한 줄 요약

논문은 멀티 해상도 특징과 학습 가능한 풀링을 사용하는 포인트 클라우드 네트워크인 PointStack을 제안하여 세밀한 정보와 비최대 정보를 보존하고 ScanObjectNN 및 ShapeNetPart에서 최첨단 결과를 달성합니다.

ABSTRACT

Existing point cloud feature learning networks often incorporate sequences of sampling, neighborhood grouping, neighborhood-wise feature learning, and feature aggregation to learn high-semantic point features that represent the global context of a point cloud. Unfortunately, the compounded loss of information concerning granularity and non-maximum point features due to sampling and max pooling could adversely affect the high-semantic point features from existing networks such that they are insufficient to represent the local context of a point cloud, which in turn may hinder the network in distinguishing fine shapes. To cope with this problem, we propose a novel point cloud feature learning network, PointStack, using multi-resolution feature learning and learnable pooling (LP). The multi-resolution feature learning is realized by aggregating point features of various resolutions in the multiple layers, so that the final point features contain both high-semantic and high-resolution information. On the other hand, the LP is used as a generalized pooling function that calculates the weighted sum of multi-resolution point features through the attention mechanism with learnable queries, in order to extract all possible information from all available point features. Consequently, PointStack is capable of extracting high-semantic point features with minimal loss of information concerning granularity and non-maximum point features. Therefore, the final aggregated point features can effectively represent both global and local contexts of a point cloud. In addition, both the global structure and the local shape details of a point cloud can be well comprehended by the network head, which enables PointStack to advance the state-of-the-art of feature learning on point clouds. The codes are available at https://github.com/kaist-avelab/PointStack.

연구 동기 및 목표

• 포인트 클라우드 네트워크에서 풀링 및 다운샘플링 중에 세밀한 정보와 비최대 정보를 보존할 필요성을 동기화합니다.
• 여러 레이어/해상도에서 특징을 집계하는 멀티 해상도 특징 학습 프레임워크를 도입합니다.
• 최대 풀링을 대체하기 위해 멀티 헤드 어텐션 기반의 permutation-invariant 학습 가능한 풀링 메커니즘을 제안합니다.
• 기존의 MLP 기반 및 다른 아키텍처에 비해 형상 분류 및 부분 세분화 작업에서 성능이 향상되었음을 보여줍니다.

제안 방법

• 백본으로 네 개의 잔차 블록을 사용하여 다중 해상도 포인트 특징을 생성합니다.
• 각 잔차 블록에서 특징을 수집하고 풀링하여 누적된 멀티 해상도 표현을 형성합니다.
• 학습 가능한 쿼리가 있는 멀티헤드 어텐션을 사용한 학습 가능한 풀링(LP) 모듈로 특징을 집계합니다.
• 멀티 해상도 풀링 전에 해상도 간 특징 수를 표준화하기 위해 단일 해상도 풀링을 적용합니다.
• 작업별 헤드 네트워크는 LP 풀링된 특징을 분류 또는 세분화에 처리하는 간단한 MLP입니다.

실험 결과

연구 질문

• RQ1 다중 해상도 특징 학습이 포인트 클라우드의 세밀함을 보존하면서도 높은 의미론적 콘텐츠를 유지할 수 있는가?
• RQ2 학습 가능한 풀링이 단일 해상도 및 다중 해상도 맥락 모두에서 최대 풀링보다 정보를 더 보존하는 집계를 제공하는가?
• RQ3 다중 해상도 특징과 LP가 글로벌 작업(분류) 및 로컬-컨텍스트 작업(세분화)에서 기존 포인트 클라우드 네트에 비해 성능을 향상시키는가?

주요 결과

• PointStack은 ScanObjectNN에서 이전 MLPO 기반 네트워크보다 OA에서 1.5% 포인트, mAcc에서 1.9% 포인트 우수합니다.
• ShapeNetPart에서 PointStack은 인스턴스 mIoU에서 기존 네트워크보다 0.4% 우수합니다.
• ablation에서 다중 해상도 특징만으로는 미미한 증가를 보이고, 단일 해상도 LP가 더 큰 이득을 주며, 전체 다중 해상도 LP가 최적의 결과를 제공합니다.
• PointStack은 ModelNet40에서 93.3% OA, ScanObjectNN에서 89.6% mAcc를 달성하여 합성 데이터와 실제 데이터 모두에서 강력한 성능을 보여줍니다.
• PointStack은 LP를 사용하여 ScanObjectNN에서 86.9% OA 및 85.8% mAcc, ShapeNetPart에서 87.2% Inst. mIoU를 달성하여 글로벌 컨텍스트와 로컬 컨텍스트 이해의 균형을 보여줍니다.