[論文レビュー] Completing Partial Point Clouds with Outliers by Collaborative Completion and Segmentation

Changfeng Ma, Yang Yang+3 more|arXiv (Cornell University)|Mar 18, 2022

Textile materials and evaluations被引用数 6

ひとこと要約

本稿では、ノイズと外れ値で汚染された部分点群から完全でクリーンな3次元形状を再構築するために、点群補完と外れ値分類を同時に実行するエンドツーエンドの段階的深層学習フレームワーク、CS-Netを提案する。完了と分類モジュールを交互に refining することで特徴を共同で最適化し、ラベル乗算FPSデコーダーとKNNグループ化リファインメントを導入することで、新しく構築されたベンチマークデータセット上で、補完と分類の両タスクで最先端の性能を達成した。その結果、チェンバーサンプル距離（CD）は6.98、mAccは93.53%を達成した。

ABSTRACT

Most existing point cloud completion methods are only applicable to partial point clouds without any noises and outliers, which does not always hold in practice. We propose in this paper an end-to-end network, named CS-Net, to complete the point clouds contaminated by noises or containing outliers. In our CS-Net, the completion and segmentation modules work collaboratively to promote each other, benefited from our specifically designed cascaded structure. With the help of segmentation, more clean point cloud is fed into the completion module. We design a novel completion decoder which harnesses the labels obtained by segmentation together with FPS to purify the point cloud and leverages KNN-grouping for better generation. The completion and segmentation modules work alternately share the useful information from each other to gradually improve the quality of prediction. To train our network, we build a dataset to simulate the real case where incomplete point clouds contain outliers. Our comprehensive experiments and comparisons against state-of-the-art completion methods demonstrate our superiority. We also compare with the scheme of segmentation followed by completion and their end-to-end fusion, which also proves our efficacy.

研究の動機と目的

• 既存の点群補完手法がクリーンで外れ値のない入力を前提としているという重要なギャップに対処すること。これは現実のスキャン状況を反映していない。
• 外れ値やノイズに対してより強力なロバストネスを実現するため、補完と分類を同時に実行するエンドツーエンドの深層学習フレームワークの開発。
• 補完と分類の両ブランチ間で相互に特徴を精錬できるように、補完と分類の両タスクの品質向上を目的とした段階的アーキテクチャの設計。
• ScanNet v2、ShapeNet、Scan2CADから抽出した点群を用いて、現実のスキャン状況を模倣する部分点群に外れ値を含む新しいベンチマークデータセットの構築と公開。
• 分類→補完の順序処理や統合ベースのパイプラインと比較して、統合的エンドツーエンド学習の優位性を、包括的なアブレーションおよび比較研究を通じて検証すること。

提案手法

• CS-Netは、補完と分類の両ブランチからの特徴を共同で精錬するための、交互に作用するCS-Blocksを用いた段階的でエンドツーエンドのアーキテクチャを採用する。
• ラベル乗算FPSモジュールは、遠方点抽出法に分類ラベルを統合することで、補完中にターゲットオブジェクトの点を優先的に処理し、入力点群の純化を実現する。
• KNNグループ化はエンコーダーに統合され、より高い確率の点位置を特定することで、生成品質の向上と局所的な幾何的詳細の回復を促進する。
• 補完デコーダーは分類ラベルとFPSを活用し、ノイズの多い点を抑制することで再構築の忠実度を向上させる。
• 段階的構造により、補完と分類の両ブランチ間で特徴を共有・精錬することで、両タスクの相互促進を実現する。
• ネットワークは、ScanNet v2、ShapeNet、Scan2CADから抽出された新規データセット上で学習され、外れ値を含む現実的な部分点群を模倣する。

実験結果

リサーチクエスチョン

• RQ1 入力に顕著な外れ値やノイズが含まれる状況下でも、エンドツーエンドの深層学習フレームワークが、点群補完と分類の両性能を同時に向上させることができるか？
• RQ2 補完と分類モジュール間の協調学習は、逐次処理（分類→補完）や独立処理と比較して、再構築品質と分類精度の両面で優れているか？
• RQ3 ラベル乗算FPSやKNNグループ化といったアーキテクチャ的要素の中で、外れ値に強い補完性能を向上させる要因となるのはどれか？
• RQ4 複数のCS-Blocksを用いた段階的精錬構造は、補完と分類の両指標に対して一貫した向上をもたらすか？
• RQ5 提案フレームワークは、異なるバックボーンネットワーク（分類用・補完用）に対しても、どの程度一般化可能か？

主な発見

• CS-Netは、新規ベンチマークデータセット上で6.98のチェンバーサンプル距離（CD）を達成し、PMP-Net（10.12）やSnowflakeNet（11.72）といったSOTA手法を顕著に上回った。
• 2クラス分類タスクにおいて、平均正答率（mAcc）が93.53%に達し、PointNet++（92.50）、PSV（88.77）、Point Transformer（93.07）を上回った。
• アブレーションスタディの結果、ラベル乗算FPSモジュールの導入により、CDが10.449から7.427に低下した。これは、ノイズ抑制と入力純化におけるその重要性を示している。
• KNNグループ化リファインメントを組み込むことで、さらに性能が向上し、CDは6.981に低下、mAccはM=3のCS-Blocksで93.53%に上昇した。
• 4つのCS-Blocks（M=4）を用いた場合、3つのブロック（M=3）と比較して僅かな向上しか得られず、M=3が性能と計算コストの最良のトレードオフを提供していることが示された。
• さまざまなバックボーン（例：PointNet++、PointNet++、Point Transformer）を用いた実験から、分類精度の向上が確認され、本フレームワークの汎用性と多様な特徴抽出器との互換性が示された。