[論文レビュー] Unpaired Point Cloud Completion on Real Scans using Adversarial Training

Xuelin Chen, Baoquan Chen+1 more|arXiv (Cornell University)|Mar 29, 2019

3D Shape Modeling and Analysis参考文献 38被引用数 69

ひとこと要約

本研究は、現実世界の部分スキャンを部分-完全データのペアを必要とせずに補完する、点ベースのGANフレームワークを提案します。現実の部分データとクリーンな完全形の潜在空間間の写像を学習することによって実現します。

ABSTRACT

As 3D scanning solutions become increasingly popular, several deep learning setups have been developed geared towards that task of scan completion, i.e., plausibly filling in regions there were missed in the raw scans. These methods, however, largely rely on supervision in the form of paired training data, i.e., partial scans with corresponding desired completed scans. While these methods have been successfully demonstrated on synthetic data, the approaches cannot be directly used on real scans in absence of suitable paired training data. We develop a first approach that works directly on input point clouds, does not require paired training data, and hence can directly be applied to real scans for scan completion. We evaluate the approach qualitatively on several real-world datasets (ScanNet, Matterport, KITTI), quantitatively on 3D-EPN shape completion benchmark dataset, and demonstrate realistic completions under varying levels of incompleteness.

研究の動機と目的

• 実世界のスキャン補完におけるペア付きの監督信号の不足に対応する。
• 生データのスキャン上で直接動作可能な非ペアの点ベース補完法を開発する。
• 異なるデータ分布間での補完を正則化するために潜在空間の多様体を活用する。
• 複数の物体カテゴリーにわたる実データおよび合成データセットに対する頑健性と一般化を示す。

提案手法

• クリーンで完全な点集合とノイズのある部分スキャンの潜在空間を学習するオートエンコーダを訓練する。
• 部分空間 X_r の潜在コードを完全空間 X_c に写す生成器 G を学習する。
• 潜在空間内でGANを構成する識別器を用い、写像された部分が実際の完全潜在コードに似るように促す。
• 入力と補完の部分的一致を保証するため、Hausdorff距離に基づく再構成損失を組み込む。
• トレーニングを安定させるため、最小二乗 GAN（LSGAN）目的を採用する。
• voxel格子やSDFではなく、PointNetライクなエンコーダ/デコーダを用いて点群上で直接動作する。

実験結果

リサーチクエスチョン

• RQ1 ペアなしのトレーニングは、 ground-truthの対応付けなしに現実世界の部分スキャンの高品質な補完を可能にするか。
• RQ2 潜在空間間の翻訳を学習することは、現実データと合成データ分布に一般化するか。
• RQ3 Hausdorff距離再構成項を含めることが、入力の一貫性を補完に保つうえでどの程度影響するか。
• RQ4 unpaired 手法は現実データおよび合成データで supervisd baselines（3D-EPN, PCN）と比較してどうか。
• RQ5 限られたペアデータで、複数の物体カテゴリーへアダプトすることは可能か。

主な発見

• この手法は、現実の部分スキャン上でペアデータなしに直接補完を実現し、ScanNet、Matterport3D、KITTIにまたがって一般化する。
• 現実データ上では、ペアなしアプローチが3D-EPNやPCNなどの supervisd baselines よりも妥当な補完を生み出す。
• 合成データ（3D-EPNデータセット）では、無監督手法が3D-EPNを上回り、PCNと競合する。監督付き適用でPCNの性能に近づく。
• アブレーション研究は、GAN成分と Hausdorff 再構成項が最良の結果を得るうえで重要であることを示す。