[論文レビュー] Collect-and-Distribute Transformer for 3D Point Cloud Analysis

Haibo Qiu, Baosheng Yu+1 more|arXiv (Cornell University)|Jun 2, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、短距離および長距離の依存関係を同時にモデル化するための収集・分配機構を用いた、3次元点群解析のための新規なTransformerアーキテクチャ、CDFormerを提案する。局所的なパッチに点群をグループ化し、特徴量を代理の参照点に集約してグローバルな文脈学習を実現し、その後クロスアテンションを用いて再分配することで、複数の点群ベンチマークで最先端の性能を達成するとともに、不規則な点群分布に対してもスケーラビリティとロバスト性が向上した。

ABSTRACT

Remarkable advancements have been made recently in point cloud analysis through the exploration of transformer architecture, but it remains challenging to effectively learn local and global structures within point clouds. In this paper, we propose a new transformer network equipped with a collect-and-distribute mechanism to communicate short- and long-range contexts of point clouds, which we refer to as CDFormer. Specifically, we first employ self-attention to capture short-range interactions within each local patch, and the updated local features are then collected into a set of proxy reference points from which we can extract long-range contexts. Afterward, we distribute the learned long-range contexts back to local points via cross-attention. To address the position clues for short- and long-range contexts, we additionally introduce the context-aware position encoding to facilitate position-aware communications between points. We perform experiments on five popular point cloud datasets, namely ModelNet40, ScanObjectNN, ShapeNetPart, S3DIS and ScanNetV2, for classification and segmentation. Results show the effectiveness of the proposed CDFormer, delivering several new state-of-the-art performances on point cloud classification and segmentation tasks. The source code is available at \url{https://github.com/haibo-qiu/CDFormer}.

研究の動機と目的

• 不規則で順序のない3次元点群における局所構造とグローバル構造を効果的にモデル化する課題に対処すること。
• 数万点の点群アプリケーションにおける標準的な自己注意の2次関数的複雑度を克服すること。
• 文脈に適応した位置エンコーディングを導入することで、点群Transformerにおける位置に敏感な特徴通信を向上させること。
• 多様な点群データセットで高い性能を維持するスケーラブルで効率的なアーキテクチャを設計すること。
• 3次元点群分類およびセマンティックセグメンテーションにおいて最先端の結果を達成すること。

提案手法

• K近傍法（K=16）を用いて点群を局所的パッチに分割し、一貫したパッチサイズを確保するとともに、不規則な窓分割を回避する。
• 各パッチ内で局所的自己注意を適用し、短距離の空間的依存関係を捉える。
• 局所的パッチからの特徴量を代理の参照点に集約し、長距離のグローバルな文脈をモデル化する。
• その後、参照点と局所的パッチの間のクロスアテンションを用いて、長距離の文脈を再分配する。
• 文脈に適応した位置エンコーディングを導入し、相対的な位置情報が入力特徴量を動的に変調することで空間認識を強化する。
• 複数段階の階層的設計を採用し、パッチ中心選択にはFPS、特徴集約にはKNNを用いる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な収集・分配機構は、3次元点群表現学習における局所的・グローバルな文脈を効果的に橋渡しできるか？
• RQ2 提案された文脈に適応した位置エンコーディングは、固定位置エンコーディングと比較して特徴通信をどのように向上させるか？
• RQ3 パッチサイズ（K）は、点群解析におけるモデル性能と特徴カバレッジにどのような影響を及えるか？
• RQ4 CDFormerアーキテクチャは、点群セグメンテーションおよび分類タスクにおいてモデル容量の増大に対して効果的にスケーリングできるか？
• RQ5 標準ベンチマークにおいて、既存のSOTA手法と比較して、本手法の正確性と効率性はどのように評価されるか？

主な発見

• ModelNet40では93.8%のトップ-1精度を達成し、従来手法を上回る最先端の性能を示した。
• ScanObjectNNデータセットでは92.1%のmAccを達成し、ノイズが多く含まれる実世界の点群に対しても優れた一般化性能を示した。
• S3DISの部品セグメンテーションでは、CDFormer-Lが72.2%のmIoUおよび78.5%のmAccを達成し、ベンチマークで新たなSOTAを樹立した。
• ScanNetV2ではCDFormer-Lが71.8%のmIoUを達成し、大規模な屋内シーンにおいても強力な性能を示した。
• アブレーションスタディにより、モデルサイズの増大に伴い性能が一貫して向上することが確認され、mIoUは67.6%（S）から72.2%（L）に上昇した。これは強力なスケーラビリティを示している。
• 本手法は高い点群カバレッジを維持しており、未カバーの点は0.4%未満、平均カバレッジは1点あたり2.0であり、冗長性と欠落を最小限に抑えた。