[論文レビュー] PointAttN: You Only Need Attention for Point Cloud Completion

Jun Wang, Ying Cui+4 more|arXiv (Cornell University)|Mar 16, 2022

3D Shape Modeling and Analysis被引用数 16

ひとこと要約

PointAttNは、kNNに基づく局所的特徴学習を交差自己注意機構に置き換えることで、局所的な幾何的詳細と長距離の構造的文脈をエンドツーエンドで学習可能な、点群補完のための新規フレームワークを提案する。本手法は、密度に敏感な近傍領域分割を排除し、注意機構を活用することで、正確で詳細な形状再構成を実現し、Completion3DおよびPCNベンチマークで最先端の性能を達成した。

ABSTRACT

Point cloud completion referring to completing 3D shapes from partial 3D point clouds is a fundamental problem for 3D point cloud analysis tasks. Benefiting from the development of deep neural networks, researches on point cloud completion have made great progress in recent years. However, the explicit local region partition like kNNs involved in existing methods makes them sensitive to the density distribution of point clouds. Moreover, it serves limited receptive fields that prevent capturing features from long-range context information. To solve the problems, we leverage the cross-attention and self-attention mechanisms to design novel neural network for processing point cloud in a per-point manner to eliminate kNNs. Two essential blocks Geometric Details Perception (GDP) and Self-Feature Augment (SFA) are proposed to establish the short-range and long-range structural relationships directly among points in a simple yet effective way via attention mechanism. Then based on GDP and SFA, we construct a new framework with popular encoder-decoder architecture for point cloud completion. The proposed framework, namely PointAttN, is simple, neat and effective, which can precisely capture the structural information of 3D shapes and predict complete point clouds with highly detailed geometries. Experimental results demonstrate that our PointAttN outperforms state-of-the-art methods by a large margin on popular benchmarks like Completion3D and PCN. Code is available at: https://github.com/ohhhyeahhh/PointAttN

研究の動機と目的

• 固定kNNに基づく局所近傍領域分割によって引き起こされる点群密度の変動に対する既存手法の感受性を解消する。
• kNNに基づく手法の受容 field の制限を克服し、3次元形状における長距離の文脈を捉える能力を向上させる。
• 明示的な局所領域分割を排除し、MLPと注意機構にのみ依存するシンプルで効果的かつエンドツーエンドのフレームワークを設計する。
• 明示的でない注意駆動型特徴学習により、再構成された点群における幾何的詳細の回復と構造的一致性を向上させる。
• 注意機構のみで、より単純なアーキテクチャであっても、明示的な局所幾何モデリングを用いる手法を上回ることを示す。

提案手法

• kNNを用いないで、元の点群特徴とダウンサンプリングされた特徴の間で交差自己注意を用いることで、局所的な幾何的構造を暗黙的に捉えるGeometric Details Perception (GDP)ブロックを導入する。
• 自己注意を適用して長距離依存性をモデル化し、粗〜細かい段階にわたり点群幾何を段階的に精錬するSelf-Feature Augment (SFA)ブロックを提案する。
• kNNやグラフベースの演算を一切用いず、遠方点サンプリング (FPS)、多層パーセプトロン (MLP)、および注意層のみを用いた軽量なエンコーダ・デコーダフレームワークを構築する。
• GDPブロックを特徴抽出器に用いることで、点密度に依存しない局所特徴を適応的に学習し、疎または不均一な分布に対してもロバスト性を向上させる。
• SFAブロックをエンコーダおよびデコーダの両方に適用することで、グローバル形状の認識を強化し、構造的詳細の段階的精錬を可能にする。
• 粗〜細かい段階の生成パイプラインを設計：特徴抽出器 → シード生成器 → ポイント生成器、すべてが注意機構によって駆動される。

実験結果

リサーチクエスチョン

• RQ1 注意機構のみで、kNNに基づく局所的特徴学習を置き換え、性能を維持または向上させることができるか？
• RQ2 自己注意と交差自己注意は、明示的な近傍領域分割を用いずに、局所的な幾何的詳細と長距離の構造的文脈をどの程度正確に捉えることができるか？
• RQ3 提案された注意機構のみのフレームワークは、kNNやグラフ畳み込み層に依存する最先端手法と比較して、どのように性能を発揮するか？
• RQ4 GDPブロックとSFAブロックが、モデル全体の性能にそれぞれどの程度寄与しているか？
• RQ5 提案された特徴抽出器は、他の点群補完や3次元解析タスクにおいてもバックボーンとして効果的に再利用可能か？

主な発見

• PointAttNはCompletion3Dベンチマークで6.63の平均チェンバーカルバック (CD) を達成し、以前のSOTA手法であるSA-Net (11.22 CD) より35.6%の改善を達成した。
• アブレーションスタディの結果、GDPブロックを削除すると平均CDが6.63から7.42に上昇し、相対的に10.6%増加した。これはGDPブロックが局所的詳細認識において極めて重要な役割を果たしていることを示している。
• SFAブロックを削除すると平均CDが6.81に上昇し、SFAがグローバル文脈の捉え方と特徴表現の向上に重要であることが示された。
• FoldingNetのバックボーンを提案された特徴抽出器に置き換えると、平均CDが56.6%（19.07から8.28に）低下し、優れた特徴抽出能力を示した。
• FE+SG+SPDバージョンは7.31の平均CDを達成し、SnowflakeNet（7.60）より3.8%低い結果を示し、提案された特徴抽出器とシード生成器の有効性を確認した。
• PN+SG+PGバージョンでは、特徴抽出器をPointNet++に置き換えたが、SA-Netに比べて平均CDが35.6%低下し、粗〜細かいデコード設計の優位性を裏付けた。