[論文レビュー] Point Cloud Completion by Skip-attention Network with Hierarchical Folding

Xin Wen, Tianyang Li+2 more|arXiv (Cornell University)|May 8, 2020

3D Shape Modeling and Analysis参考文献 43被引用数 13

ひとこと要約

本論文では、複数の解像度にわたる不完全な点群から局所的な構造的詳細を選択的に保持するためのスキップアテンション機構を活用し、階層的な折りたたみを用いた構造を保全するデコーダーを組み合わせた、3D点群補完のための新規エンドツーエンドフレームワークであるSkip-Attention Network (SA-Net) を提案する。SA-NetはShapeNetおよびKITTIベンチマークで最先端の性能を達成し、補完精度と一般化性能の両面で先行手法を上回っている。

ABSTRACT

Point cloud completion aims to infer the complete geometries for missing regions of 3D objects from incomplete ones. Previous methods usually predict the complete point cloud based on the global shape representation extracted from the incomplete input. However, the global representation often suffers from the information loss of structure details on local regions of incomplete point cloud. To address this problem, we propose Skip-Attention Network (SA-Net) for 3D point cloud completion. Our main contributions lie in the following two-folds. First, we propose a skip-attention mechanism to effectively exploit the local structure details of incomplete point clouds during the inference of missing parts. The skip-attention mechanism selectively conveys geometric information from the local regions of incomplete point clouds for the generation of complete ones at different resolutions, where the skip-attention reveals the completion process in an interpretable way. Second, in order to fully utilize the selected geometric information encoded by skip-attention mechanism at different resolutions, we propose a novel structure-preserving decoder with hierarchical folding for complete shape generation. The hierarchical folding preserves the structure of complete point cloud generated in upper layer by progressively detailing the local regions, using the skip-attentioned geometry at the same resolution. We conduct comprehensive experiments on ShapeNet and KITTI datasets, which demonstrate that the proposed SA-Net outperforms the state-of-the-art point cloud completion methods.

研究の動機と目的

• 点群補完に用いられるグローバル表現における局所的構造的詳細の情報損失を解消すること。
• 形状生成中に、不完全な点群の局所領域からの選択的かつ解釈可能な特徴再利用を可能にすること。
• 複数解像度の特徴に基づいて、段階的に詳細を精緻化しながら構造的整合性を保つデコーダーの設計。
• スキップアテンションと階層的折りたたみの有効性を、補完、セグメンテーション、および教師なし分類タスクにおいて検証すること。

提案手法

• エンコーダー内の情報的な局所領域にのみ注目する学習可能なアテンション機構を提案し、同じ解像度のデコーダー層にそれらを転送する。
• スキップアテンションで得た特徴と一致する解像度のものに基づいて、階層的折りたたみを用いて段階的に点群領域の詳細を生成する構造を保全するデコーダーを設計。
• 密度を段階的に増加させる2次元グリッドサンプリングを用いて、階層的折りたたみプロセスをガイドし、構造的な点群生成を可能にする。
• 補完ヘッドをセグメンテーションヘッドまたはSVMヘッドに置き換えることで、ネットワークをセマンティックセグメンテーションおよび教師なし形状分類に適応。
• エンドツーエンドの学習パラダイムを採用し、エンコーダーが特徴を抽出し、スキップアテンションが特徴の流れを制御し、デコーダーが完全な点群を再構築する。
• 同じアーキテクチャを下流タスクに適用することで、補完、セグメンテーション、分類の間で学習された特徴の転移可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアテンション機構は、不完全な点群から局所的構造的詳細を効果的に抽出・再利用し、補完性能を向上させることができるか？
• RQ2 構造を保全する階層的折りたたみは、生成された点群の品質と一貫性をどのように向上させるか？
• RQ3 スキップアテンション機構は、セマンティックセグメンテーションや教師なし分類といった関連する3Dビジョンタスクの性能を向上させることができるか？
• RQ4 提案手法は、標準ベンチマークにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• SA-Netは、点群補完タスクにおいてShapeNetおよびKITTIデータセットで最先端の性能を達成し、優れた再構築精度を示している。
• スキップアテンション機構により、セマンティックセグメンテーションにおいてPointNet++と比較して平均部品IoU（mpIoU）が0.6%向上し、特に重複する部分（例：自転車のタイヤ）の予測がより正確になった。
• 構造を保全するデコーダーのおかげで、ModelNet40で90.6%の精度で教師なし形状分類が達成され、教師ありPointNet++と同等の性能を発揮した。
• アブレーションスタディの結果、スキップアテンションは関連する局所的特徴を効果的に統合することで特徴学習を強化し、冗長性を低減し、一般化性能を向上させていることが確認された。
• 可視化結果から、スキップアテンションが情報量の多い局所領域（例：飛行機の左翼）を明確に強調しており、補完プロセスの解釈可能性が向上していることが示された。