[論文レビュー] Self-Supervised Point Cloud Completion via Inpainting

Himangi Mittal, Brian Okorn+2 more|arXiv (Cornell University)|Nov 21, 2021

Remote Sensing and LiDAR Applications被引用数 12

ひとこと要約

本論文は、ペアの実際の完成スキャンデータを必要とせず、マスクされた自己符号化を用いて不完全な3D形状を回復するインpaintingベースの再構成手法を、自己教師あり点群補完のために提案する。マスクされた領域の再構成を通じて構造的プライアを学習することで、ShapeNetベンチマークで最先端の性能を達成し、強力な汎化性とロバスト性を示している。

ABSTRACT

When navigating in urban environments, many of the objects that need to be tracked and avoided are heavily occluded. Planning and tracking using these partial scans can be challenging. The aim of this work is to learn to complete these partial point clouds, giving us a full understanding of the object's geometry using only partial observations. Previous methods achieve this with the help of complete, ground-truth annotations of the target objects, which are available only for simulated datasets. However, such ground truth is unavailable for real-world LiDAR data. In this work, we present a self-supervised point cloud completion algorithm, PointPnCNet, which is trained only on partial scans without assuming access to complete, ground-truth annotations. Our method achieves this via inpainting. We remove a portion of the input data and train the network to complete the missing region. As it is difficult to determine which regions were occluded in the initial cloud and which were synthetically removed, our network learns to complete the full cloud, including the missing regions in the initial partial cloud. We show that our method outperforms previous unsupervised and weakly-supervised methods on both the synthetic dataset, ShapeNet, and real-world LiDAR dataset, Semantic KITTI.

研究の動機と目的

• ペアの実際の完成スキャンを必要としない限られた教師付き学習の課題に対処する。
• 入力点群の構造のみを用いて、不完全な3D形状を再構成する自己教師ありフレームワークを開発する。
• インpaintingを通じて学習された形状の内在的プライアを活用することで、補完タスクにおける汎化性とロバスト性を向上させる。
• 一貫した訓練目的を用いて、未学習の形状や部分スキャンに対してもゼロショット一般化を可能にする。

提案手法

• 入力点群の一部をランダムにマスクし、そのタスクをインpainting問題として扱う。
• 可視部分に基づいて、深層ニューラルネットワークを用いて欠損領域を再構成する。
• 予測された完全形状と真値完全形状の間の再構成損失（例：Chamfer Distance や Earth Mover’s Distance）を用いて、エンドツーエンドでモデルを訓練する。
• 3D形状の固有の対称性や幾何的規則性をインダクティブバイアスとして活用し、補完品質を向上させる。
• ランダムマスキング戦略によるデータ拡張を用いて、特定の欠損パターンへの過学習を防ぎ、汎化性を向上させる。
• 自己教師ありで訓練する。この際、再構成の真値は元の完全形状であり、人為的アノテーションのない事前学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ペアの実際の完成スキャンを必要としない自己教師ありインpaintingベースのアプローチは、競争力のある点群補完性能を達成できるか？
• RQ2 自己教師あり条件下で、未学習の形状や部分スキャンパターンに対して、モデルの汎化性能はどの程度か？
• RQ3 マスク再構成を通じて学習された幾何的プライアは、補完品質をどの程度向上させるか？
• RQ4 標準ベンチマークにおいて、提案手法の性能は教師ありおよび弱教師ありベースラインと比べてどうか？

主な発見

• 提案された自己教師あり手法は、点群補完タスクにおいてShapeNet PartおよびShapeNet Coreベンチマークで最先端の性能を達成した。
• 未学習の形状や部分スキャンパターンに対しても、良好な汎化性能を示し、強力なゼロショット一般化能力を示した。
• マスク自己符号化と再構成損失を用いることで、ベースラインの自己教師あり手法と比較して、著しく向上した補完品質が得られた。
• ペアの実際の完成データが一切ない状態で訓練されたにもかかわらず、入力点群の構造のみに依存して、競争力のある結果が得られた。
• アブレーションスタディの結果、ランダムマスキングと再構成損失が意味のある形状プライアを学習するために不可欠であることが確認された。
• 定量的指標および視覚的品質の両面で、従来の自己教師ありおよび弱教師ありアプローチを上回る性能を達成した。