[論文レビュー] Self-positioning Point-based Transformer for Point Cloud Understanding

Jinyoung Park, Sanghyeok Lee+3 more|arXiv (Cornell University)|Mar 29, 2023

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

本稿では、計算複雑性を低減しつつ局所的およびグローバルな形状コンテキストを捉える点群理解のための自己位置決め点に基づくTransformer、SPoTrを提案する。自己位置決め点を適応的に配置し、分離されたアテンションを用いて空間的および意味的近接性を同時にモデル化することで、形状分類タスクにおいてScanObjectNNで先行手法よりも2.6%の精度向上を達成した。FLOPsとメモリ使用量は顕著に低減された。

ABSTRACT

Transformers have shown superior performance on various computer vision tasks with their capabilities to capture long-range dependencies. Despite the success, it is challenging to directly apply Transformers on point clouds due to their quadratic cost in the number of points. In this paper, we present a Self-Positioning point-based Transformer (SPoTr), which is designed to capture both local and global shape contexts with reduced complexity. Specifically, this architecture consists of local self-attention and self-positioning point-based global cross-attention. The self-positioning points, adaptively located based on the input shape, consider both spatial and semantic information with disentangled attention to improve expressive power. With the self-positioning points, we propose a novel global cross-attention mechanism for point clouds, which improves the scalability of global self-attention by allowing the attention module to compute attention weights with only a small set of self-positioning points. Experiments show the effectiveness of SPoTr on three point cloud tasks such as shape classification, part segmentation, and scene segmentation. In particular, our proposed model achieves an accuracy gain of 2.6% over the previous best models on shape classification with ScanObjectNN. We also provide qualitative analyses to demonstrate the interpretability of self-positioning points. The code of SPoTr is available at https://github.com/mlvlab/SPoTr.

研究の動機と目的

• 点群における標準Transformerの計算コストが二次関数的になる問題に対処する一方で、長距離依存性のモデル化を維持する。
• 形状に適応した自己位置決め点を導入することで、点群処理におけるグローバルアテンションの表現力を向上させる。
• 少量の自己位置決め点を用いた新しいクロスアテンション機構により、グローバル自己アテンションにおけるメモリおよびFLOPのオーバーヘッドを低減する。
• 異なる形状間で一貫した配置が可能な意味的に意味のある点の配置を可能にすることで、解釈可能性を向上させる。

提案手法

• SPoTrは二重アテンションメカニズムを採用する：局所的幾何構造の学習に局所点アテンション（LPA）を、グローバルコンテキストの集約に自己位置決め点に基づくアテンション（SPA）を用いる。
• 自己位置決め点（SP点）は、入力形状に基づき、空間的および意味的ヒントを用いて適応的に配置され、重要な構造的領域をカバーするように設計される。
• SPAは分離されたアテンションを用い、空間的近接性（カーネルgを介して）と意味的関連性（カーネルhを介して）を別々にモデル化し、それらをg·hとして組み合わせることで不要な特徴を抑制する。
• グローバルクロスアテンション機構は、入力点と少量のSP点の間でのみアテンション重みを計算するため、フル自己アテンションと比較してFLOPsが著しく削減される。
• チャネルワイドなポイントアテンション（CWPA）を用いて特徴表現を向上させ、f_q - f_kのような学習された意味的関係が最も効果的であることが示された。
• SPoTrはセットアブstractionを一般化し、意味的に情報のある適応的な点サンプリングにより、計算複雑性を増加させることなくより表現力の高い特徴学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 少量の適応的自己位置決め点が、計算コストを低減しつつ、点群におけるグローバル形状コンテキストを効果的に表現できるか？
• RQ2 空間的および意味的近接性を別々にモデル化する分離アテンションが、点群Transformerにおける特徴表現をどのように向上させるか？
• RQ3 提案された自己位置決め点に基づくクロスアテンションは、標準的なグローバル自己アテンションと比較して、精度と効率の面でどの程度優れているか？
• RQ4 自己位置決め点が異なる形状やカテゴリ間で一貫して配置可能であり、意味的解釈可能性を示しているか？
• RQ5 自己位置決めアテンション機構における特徴相互作用をモデル化する最適な意味的関係（例：f_q - f_k）は何か？

主な発見

• SPoTrは、実世界のデータを対象とした形状分類タスクにおいて、ScanObjectNNデータセットで先行するSOTAモデルよりも2.6%の精度向上を達成し、優れた性能を示した。
• 提案されたSPA機構により、標準的なグローバル自己アテンションと比較してFLOPsが90.5%削減され、メモリ使用量が89.7%削減され、スループットが15.9倍向上した。
• 分離アテンション（g·h）を用いたモデルは、意味的に関連する領域からの特徴を集約する一方で、意味的に関連のない近接部分からのノイズを抑制した。
• 定性的な分析から、自己位置決め点が一貫して意味的に重要な位置（例：飛行機の翼根）に配置されていることが示され、解釈可能性と意味的認識の両方を示した。
• 減算ベースの意味的関係（f_q - f_k）を用いたチャネルワイドポイントアテンション（CWPA）が、標準アテンションや他の関係タイプと比較して最も優れた性能を示した。
• SPoTrはセットアブstractionを一般化し、計算複雑性を増加させることなく、表現力の高い特徴学習を可能にした。