[論文レビュー] Point Cloud Classification Using Content-based Transformer via Clustering in Feature Space

Yahui Liu, Bin Tian+3 more|arXiv (Cornell University)|Mar 8, 2023

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本稿では、特徴類似性に基づいて点をクラスタリングすることで、効率的な長距離注意を可能にする、3次元点群分類向けのコンテンツベースのトランスフォーマー、PointConTを提案する。空間的近傍性ではなく特徴ベースのクラスタ内で自己注意を計算することにより、計算コストを低減しながらもグローバルな依存関係を捉えることができ、ScanObjectNNの最も困難な設定において90.3%のTop-1精度を達成した。

ABSTRACT

Recently, there have been some attempts of Transformer in 3D point cloud classification. In order to reduce computations, most existing methods focus on local spatial attention, but ignore their content and fail to establish relationships between distant but relevant points. To overcome the limitation of local spatial attention, we propose a point content-based Transformer architecture, called PointConT for short. It exploits the locality of points in the feature space (content-based), which clusters the sampled points with similar features into the same class and computes the self-attention within each class, thus enabling an effective trade-off between capturing long-range dependencies and computational complexity. We further introduce an Inception feature aggregator for point cloud classification, which uses parallel structures to aggregate high-frequency and low-frequency information in each branch separately. Extensive experiments show that our PointConT model achieves a remarkable performance on point cloud shape classification. Especially, our method exhibits 90.3% Top-1 accuracy on the hardest setting of ScanObjectNN. Source code of this paper is available at https://github.com/yahuiliu99/PointConT.

研究の動機と目的

• トランスフォーマーにおける局所的空間的注意の限界を解決する。特に、点群内の遠く離れているが意味的に類似した点同士の長距離依存関係を捉えることができない点を改善する。
• 3次元点群分類における計算複雑度を低減しつつ、グローバルな特徴表現能力を維持する。
• 高周波成分と低周波成分を別々に捉える新しい特徴アグリゲーターを設計し、特徴学習の向上を図る。
• 空間的局所性の代わりに特徴空間におけるコンテンツベースのクラスタリングを自己注意計算に用いる有効性を示す。

提案手法

• 空間的近接性ではなく特徴類似性に基づいてサンプリングされた点をクラスタリングするコンテンツベースの自己注意メカニズムを提案する。
• 各トランスフォーマーブロック、ヘッド、ステージごとに動的に重複のないクラスタを形成することで、局所化された注意計算を可能にする。
• インセプション風の特徴アグリゲーターを導入し、2本の並列ブランチを設ける：1本目は最大プーリングと残差MLPで高周波成分を処理し、もう1本は平均プーリングとコンテンツベースのトランスフォーマーで低周波成分を処理する。
• クラスタリングの類似度測定にユークリッド距離を用い、アブレーションスタディでコサイン類似度を上回る性能を示した。
• チャネル単位での適応的モodulationを可能にするベクトル注意をトランスフォーマーブロックに実装し、スカラーアテンションよりも優れた特徴表現を得た。
• 点のダウンサンプリングにファーテストポイントサンプリング（FPS）を適用し、段階的なアーキテクチャを用いて特徴を段階的に精錬する。

実験結果

リサーチクエスチョン

• RQ1 空間的局所性と比較して、特徴空間におけるクラスタリングは、点群トランスフォーマーにおける長距離依存関係のモデリングを改善できるか？
• RQ2 コンテンツベースのクラスタリングは、点群分類における計算効率と分類精度にどのように影響を与えるか？
• RQ3 コンテンツベースの注意に最適なクラスタサイズ、類似度測定法、注意タイプの組み合わせは何か？
• RQ4 高周波成分と低周波成分の特徴成分は、点群分類全体のパフォーマンスにどのように寄与するか？
• RQ5 インセプション風の特徴アグリゲーションとコンテンツベースの注意を組み合わせることで、ベンチマークデータセット上で優れたパフォーマンスが得られるか？

主な発見

• PointConTはModelNet40で93.5%のTop-1精度、ScanObjectNNで88.0%の精度を達成し、標準ベンチマークで優れた性能を示した。
• ScanObjectNNの最も困難な設定において、PointConTは90.3%のTop-1精度を達成し、同じ評価プロトコル下で先行手法を上回った。
• クラスタリングにユークリッド距離を用いることで、コサイン類似度（92.9%）よりも優れた結果（ModelNet40で93.5%）が得られ、L2ベースの特徴近接性がより効果的であることが示された。
• アブレーションスタディにより、最大プーリングと平均プーリングの両方を備えたインセプション特徴アグリゲーターが不可欠であることが確認され、平均プーリングを削除するとScanObjectNNで1.7%の性能低下が生じた。
• 最適な局所クラスタサイズは16であり、それより小さい（8）または大きい（32）場合に性能が低下した。
• ベクトル注意はスカラーアテンションをわずかに上回り、93.5%のTop-1精度を達成した（スカラーアテンションは92.9%）ことから、3次元特徴学習における利点が裏付けられた。