[論文レビュー] PU-Transformer: Point Cloud Upsampling Transformer

Shi Qiu, Saeed Anwar+1 more|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis参考文献 58被引用数 13

ひとこと要約

PU-Transformerは、ポイントクラウドのアップサンプリングのための新しいトランスフォーマー基盤モデルを提案する。このモデルは、ポイント単位およびチャネル単位の特徴関係を強化するためのシフトドチャネルマルチヘッド自己注意（SC-MSA）ブロックに加え、局所的な幾何的コンテキストを捉えるためのポジショナルフィュージョンブロックを採用している。合成データおよび実世界のベンチマークにおいて最先端の性能を達成しており、忠実度と構造的詳細においてCNNベースの手法を上回りつつ、単一GPUで効率的な性能を維持している。

ABSTRACT

Given the rapid development of 3D scanners, point clouds are becoming popular in AI-driven machines. However, point cloud data is inherently sparse and irregular, causing significant difficulties for machine perception. In this work, we focus on the point cloud upsampling task that intends to generate dense high-fidelity point clouds from sparse input data. Specifically, to activate the transformer's strong capability in representing features, we develop a new variant of a multi-head self-attention structure to enhance both point-wise and channel-wise relations of the feature map. In addition, we leverage a positional fusion block to comprehensively capture the local context of point cloud data, providing more position-related information about the scattered points. As the first transformer model introduced for point cloud upsampling, we demonstrate the outstanding performance of our approach by comparing with the state-of-the-art CNN-based methods on different benchmarks quantitatively and qualitatively.

研究の動機と目的

• 高レベルな3次元ビジョンタスクを妨げるポイントクラウドデータの固有の疎らかさと不規則性に対処すること。
• スパarsな入力をもとに高忠実度で均一に分布する高密度ポイントクラウドを生成する深層学習モデルを開発すること。
• トランスフォーマーのグローバルモデリングの強みを活かし、CNN や MLP の制限を克服してポイントクラウドのアップサンプリングを実現すること。
• 最小限の計算コストで実世界へのデプロイに適した、効率的で軽量なトランスフォーマー・アーキテクチャを設計すること。
• さまざまな入力解像度および実世界のポイントクラウドの種類に対応した柔軟なアップサンプリングを可能にすること。

提案手法

• ポイント単位およびチャネル単位の特徴依存関係を、重複するヘッドチャネルを用いて強化するシフトドチャネルマルチヘッド自己注意（SC-MSA）ブロックを導入する。
• 局所的な幾何的および特徴コンテキストを符号化するためのポジショナルフィュージョンブロックを採用し、より優れた3次元ポイント表現のための標準的なポジショナルエンコーディングを置き換える。
• 特徴表現を段階的に精錬するための、トランスフォーマー・エンコーダーのスタック（L=5）をコアボディとして使用する。
• 特徴を投影し、アップサンプリングされたポイント座標を生成するための単純で学習可能なヘッドおよびテイルモジュールを適用する。
• さまざまなスケール（例：4×、16×）での柔軟なアップサンプリングを可能にするため、パッチベースの推論パイプラインを採用する。
• 座標予測のための標準的なL1損失を用いて、スパースからデューディなポイントクラウド再構成のエンドツーエンド訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のアーキテクチャは、長距離依存関係や特徴相互作用をよりよくモデル化することで、CNNベースの手法をポイントクラウドのアップサンプリングにおいて上回ることができるか？
• RQ2 提案されたSC-MSAブロックは、スパースなポイントクラウドにおけるポイント単位およびチャネル単位の関係をどれほど効果的に捉えられるか？
• RQ3 標準的なポジショナル埋め込みと比較して、ポジショナルフィュージョンブロックは局所的コンテキスト符号化をどの程度向上させるか？
• RQ4 軽量なトランスフォーマー・モデルは、最小限の計算コストと単一GPUでの学習で競争力のある性能を達成できるか？
• RQ5 PU-Transformerは、多様な入力サイズおよび実世界のポイントクラウド分布に対してどの程度頑健か？

主な発見

• PU-Transformerは、合成データおよび実世界のポイントクラウドのアップサンプリングベンチマークにおいて、PU-GAN、PU-GCN、Dis-PUなどのCNNベースの手法を上回る最先端の性能を達成している。
• ShapeNetデータセットにおいて、4×アップサンプリング時、チェンファーディスタンス（CD）は0.00044を達成し、先行手法を著しく上回っている。
• 定性的な結果では、特に「Panda」や「chair」のようなオブジェクトのエッジや輪郭といった微細なディテールを保持する点で、優れた構造的忠実度と均一な分布を示している。
• 256〜2048ポイントのさまざまな入力サイズにおいても高い性能を維持しており、低解像度の入力からも高品質で高密度の出力を生成している。
• モデルは効率的であり、単一GPUで数時間の学習で実現可能で、パラメータ数はわずか約0.97Mであり、実世界へのデプロイに実用的である。
• 可視化結果から、ポジショナルフィュージョンブロックが局所的コンテキストを強化し、ScanObjectNN や SemanticKITTI の実スキャンにおいて、より正確で均一なアップサンプリングを実現していることが確認された。