[論文レビュー] Cascaded Refinement Network for Point Cloud Completion

Xiaogang Wang, Marcelo H. Ang+1 more|arXiv (Cornell University)|Apr 7, 2020

3D Shape Modeling and Analysis参考文献 53被引用数 19

ひとこと要約

本稿では、部分的な入力からの局所的詳細を保持しながら、粗いものから細かいものへの戦略によって高精細な欠損部を生成する、3次元点群補完のための段階的精錬ネットワークを提案する。パッチベースの識別器と反復的精錬、および特徴の収縮・拡張モジュールを組み合わせることで、複数のベンチマークで最先端の性能を達成し、詳細の再現性が向上するとともにモデルサイズが削減された。

ABSTRACT

Point clouds are often sparse and incomplete. Existing shape completion methods are incapable of generating details of objects or learning the complex point distributions. To this end, we propose a cascaded refinement network together with a coarse-to-fine strategy to synthesize the detailed object shapes. Considering the local details of partial input with the global shape information together, we can preserve the existing details in the incomplete point set and generate the missing parts with high fidelity. We also design a patch discriminator that guarantees every local area has the same pattern with the ground truth to learn the complicated point distribution. Quantitative and qualitative experiments on different datasets show that our method achieves superior results compared to existing state-of-the-art approaches on the 3D point cloud completion task. Our source code is available at https://github.com/xiaogangw/cascaded-point-completion.git.

研究の動機と目的

• 疎で不完全な点群から高精細で詳細な3次元形状を生成する課題に対処すること。
• 既存手法が部分的な入力における細かい構造的詳細（例：いすの脚）を保持できないという限界を克服すること。
• 再構成損失と対抗的損失を同時に最適化する粗いものから細かいものへのフレームワークを構築することにより、幾何学的リアリズムを向上させること。
• パッチベースの識別器により局所的なパターンの一貫性を強制することで、複雑な点群分布を学習すること。
• 先行の最先端手法と比較して性能を維持または向上させつつ、モデルサイズを削減すること。

提案手法

• 生成器は3段階のアーキテクチャを採用する：最大プーリングを伴う2つのMLPによる特徴抽出、全結合層を用いた粗い再構成、およびリフトモジュールを備えた段階的精錬サブネットワークによる密な再構成。
• 不完全な入力を粗い出力に直接接続するスキップ接続を設け、既存の構造的詳細を保持する。
• 特徴の収縮と拡張ユニットを備えた反復的精錬デコーダーが、局所的およびグローバルなレベルで点の位置を段階的に精錬する。
• パッチベースの識別器を導入し、生成された点群と実際の点群のパッチを比較することで、局所的な構造的一致性を強制し、真値分布への再現性を向上させる。
• 幾何学的正確性と知覚的リアリズムの両方を同時に最適化するため、対抗的学習と再構成損失（Chamfer Distance）を組み合わせる。
• 訓練中に部分的な入力に対してミラー増強を適用し、一般化性能と対称性の学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 段階的精錬戦略は、部分的な点群からの細かい構造的詳細を保持しながら、現実的な欠損部を生成できるか？
• RQ2 グローバル識別器と比較して、パッチベースの識別器は複雑な点群分布のモデリングをどのように改善するか？
• RQ3 収縮・拡張ユニットを備えた反復的精錬は、点群の密度および幾何学的正確性をどの程度向上させるか？
• RQ4 提案手法は、標準的な3次元補完ベンチマークで最先端の手法を上回る性能を達成できるか？
• RQ5 少ないパラメータ数とモデルサイズを維持しながらも、高い性能を維持できるか？

主な発見

• ShapeNetデータセット上での20％の欠損度において、本手法はChamfer Distance（CD）が5.52 × 10⁻⁴を達成し、PCN（7.69 × 10⁻⁴）およびTopNet（8.46 × 10⁻⁴）を上回った。
• 70％の欠損度において、CDは21.27 × 10⁻⁴に低下し、PCN（23.60 × 10⁻⁴）およびTopNet（23.20 × 10⁻⁴）を顕著に下回り、高い欠損データに対するロバストネスを示した。
• 生成された点群における分類精度は94.17％に達し、PCNおよびTopNetと比較して1.59ポイント向上し、より良い意味的再現性を示した。
• モデルは5.14Mのパラメータと61.90MBのサイズを有し、PCN（6.85M, 82.30MB）およびTopNet（9.96M, 79.80MB）よりも小型であり、効率性の向上を示した。
• アブレーションスタディの結果、識別器、平均形状、収縮・拡張ユニット、ミラー操作のいずれかを削除すると性能が低下し、各モジュールの貢献が検証された。
• 形状補間の結果、潜在ベクトル間の滑らかな遷移が確認され、学習された特徴が意味的な幾何学的意味を保持していることが示された。