[論文レビュー] Advanced Feature Learning on Point Clouds using Multi-resolution Features and Learnable Pooling

Kevin Tirta Wijaya, Dong-Hee Paek+1 more|arXiv (Cornell University)|May 20, 2022

3D Shape Modeling and Analysis被引用数 21

ひとこと要約

本論文は PointStack を提案する。ポイントクラウドの粒度情報と非最大情報を保持するために多解像度特徴と学習可能プーリングを用い、ScanObjectNN と ShapeNetPart で最先端の結果を達成する。

ABSTRACT

Existing point cloud feature learning networks often incorporate sequences of sampling, neighborhood grouping, neighborhood-wise feature learning, and feature aggregation to learn high-semantic point features that represent the global context of a point cloud. Unfortunately, the compounded loss of information concerning granularity and non-maximum point features due to sampling and max pooling could adversely affect the high-semantic point features from existing networks such that they are insufficient to represent the local context of a point cloud, which in turn may hinder the network in distinguishing fine shapes. To cope with this problem, we propose a novel point cloud feature learning network, PointStack, using multi-resolution feature learning and learnable pooling (LP). The multi-resolution feature learning is realized by aggregating point features of various resolutions in the multiple layers, so that the final point features contain both high-semantic and high-resolution information. On the other hand, the LP is used as a generalized pooling function that calculates the weighted sum of multi-resolution point features through the attention mechanism with learnable queries, in order to extract all possible information from all available point features. Consequently, PointStack is capable of extracting high-semantic point features with minimal loss of information concerning granularity and non-maximum point features. Therefore, the final aggregated point features can effectively represent both global and local contexts of a point cloud. In addition, both the global structure and the local shape details of a point cloud can be well comprehended by the network head, which enables PointStack to advance the state-of-the-art of feature learning on point clouds. The codes are available at https://github.com/kaist-avelab/PointStack.

研究の動機と目的

• 点群ネットワークにおけるプーリングおよびダウンサンプリング時に粒度情報と非最大情報を保持する必要性を動機付ける。
• 複数の層/解像度から特徴を統合する多解像度特徴学習フレームワークを導入する。
• 最大プーリングを置換する、マルチヘッドアテンションに基づく permutation-invariant の学習可能プーリング機構を提案する。
• 既存のMLPベースおよび他のアーキテクチャと比較して、形状分類および部品セグメンテーションタスクの性能を改善する。

提案手法

• バックボーンとして4つの残差ブロックを用いて多解像度の点特徴を生成する。
• 各残差ブロックから特徴を集約して、積み重ねた多解像度表現を形成する。
• 学習可能なクエリを持つマルチヘッドアテンションを用いた学習可能プーリング (LP) モジュールを適用し、特徴を集約する。
• 多解像度プーリングの前に、解像度間で特徴数を標準化するために単一解像度プーリングを使用する。
• タスク用のヘッドネットワークは、LP-pooled特徴を分類またはセグメンテーション用に処理する単純なMLP。

実験結果

リサーチクエスチョン

• RQ1 多解像度特徴学習は、点群の粒度情報を保持しつつ高い意味内容を維持できるか。
• RQ2 学習可能プーリングは、単一解像度および多解像度の文脈で、最大プーリングより情報を保持する集約を提供するか。
• RQ3 多解像度特徴とLPは、既存の点群ネットと比較して、グローバルタスク（分類）とローカルコンテキストタスク（セグメンテーション）の性能を改善するか。

主な発見

• PointStack は ScanObjectNN で既存の MLPO ベースネットワークより OA で 1.5%、mAcc で 1.9% 上回る。
• ShapeNetPart では、PointStack は既存ネットワークをインスタンス mIoU で 0.4% 上回る。
• アブレーション実験では、多解像度特徴のみで控えめな改善、単一解像度LPでより大きな改善、全多解像度LPで最良の結果を示す。
• PointStack は ModelNet40 で 93.3% OA、ScanObjectNN で 89.6% mAcc を達成し、合成データと実世界データの両方で強力な性能を示す。
• PointStack は LP を用いて ScanObjectNN で 86.9% OA、85.8% mAcc、ShapeNetPart で 87.2% Inst. mIoU を達成し、グローバルとローカルの文脈理解のバランスの取れた性能を示す。