[論文レビュー] A Self-supervised Cascaded Refinement Network for Point Cloud Completion.

Xiaogang Wang, Marcelo H. Ang+1 more|arXiv (Cornell University)|Oct 17, 2020

3D Shape Modeling and Analysis参考文献 70被引用数 4

ひとこと要約

本稿では、完全な教師データを必要とせずに高精細で詳細な形状を生成できる自己教師型段階的精錬ネットワーク（CRN）を、3次元点群補完のために提案する。部分的な入力のみを用いた敵対的訓練と粗くから細かくへの精錬戦略を採用することで、複数のデータセットにおいて定量的・定性的な評価で最先端の性能を達成した。

ABSTRACT

Point clouds are often sparse and incomplete, which imposes difficulties for real-world applications, such as 3D object classification, detection and segmentation. Existing shape completion methods tend to generate coarse shapes of objects without fine-grained details. Moreover, current approaches require fully-complete ground truth, which are difficult to obtain in real-world applications. In view of these, we propose a self-supervised object completion method, which optimizes the training procedure solely on the partial input without utilizing the fully-complete ground truth. In order to generate high-quality objects with detailed geometric structures, we propose a cascaded refinement network (CRN) with a coarse-to-fine strategy to synthesize the complete objects. Considering the local details of partial input together with the adversarial training, we are able to learn the complicated distributions of point clouds and generate the object details as realistic as possible. We verify our self-supervised method on both unsupervised and supervised experimental settings and show superior performances. Quantitative and qualitative experiments on different datasets demonstrate that our method achieves more realistic outputs compared to existing state-of-the-art approaches on the 3D point cloud completion task.

研究の動機と目的

• 分類、検出、セグメンテーションなどの実世界の3次元ビジョン応用における点群の疎で不完全な入力を扱う課題に対処すること。
• 実際には入手困難な完全な教師データに依存する既存手法の制限を克服すること。
• 完全な監視を必要とせず、部分的入力データのみで最適化する自己教師型学習フレームワークを構築すること。
• 粗くから細かくへの精錬プロセスを通じて、現実的な幾何構造を持つ高品質で詳細な3次元形状を生成すること。

提案手法

• 本手法は、粗くから細かくへと段階的に精錬を行う段階的精錬ネットワーク（CRN）を採用する。
• 完全な教師データを必要とせず、部分的入力点群のみに依存する自己教師型学習パラダイムを採用する。
• 精錬プロセス中に部分的入力からの局所的幾何的詳細を明示的に考慮することで、構造の忠実性を維持する。
• 生成された点群の詳細の現実性を向上させ、分布モデリングを改善するために敵対的訓練を統合する。
• 部分的入力における再構成と敵対的目的を組み合わせた損失関数を用いて、エンド・トゥ・エンドでネットワークを訓練する。
• 粗くから細かくへの戦略により、段階的な精錬が可能となり、複雑な点群分布を学習し、細粒度の構造を生成できるようになる。

実験結果

リサーチクエスチョン

• RQ1 完全な教師データを必要としない自己教師型手法は、高品質な3次元点群補完を達成できるか？
• RQ2 段階的精錬ネットワークは、不完全な点群から詳細な幾何構造を効果的に生成できるか？
• RQ3 部分的入力のみに対する敵対的訓練は、完成した3次元形状の現実性と忠実性を向上させられるか？
• RQ4 提案手法は、自己教師型および教師ありの両設定において、教師ありの最先端手法と比較してどのように性能を発揮するか？
• RQ5 部分的入力からの局所的詳細を組み込むことで、補完品質はどの程度向上するか？

主な発見

• 提案手法は、3次元点群補完の分野において、既存の最先端手法と比較して定量的・定性的な両評価で優れた性能を達成した。
• 訓練中に完全な教師データにアクセスできない状況下でも、ベースライン手法よりも現実的で詳細な3次元形状を生成できた。
• 自己教師型学習戦略により、部分的入力データのみで効果的な最適化が可能となり、実世界の応用に実用的であることが示された。
• 段階的精錬機構により、複数段階にわたり細粒度の幾何的詳細を的確に捉え、強化できた。
• 本手法は優れた汎化性能を示し、自己教師型および教師ありの両実験設定で良好な性能を発揮した。
• 敵対的訓練により、生成された点群の詳細の現実性が顕著に向上したことが、定性的分析で確認された。