[論文レビュー] Multimodal Shape Completion via IMLE

Himanshu Arora, S. Mishra+3 more|arXiv (Cornell University)|Jun 30, 2021

3D Shape Modeling and Analysis参考文献 1被引用数 6

ひとこと要約

本論文は、部分点群から多様で構造的に異なる完全な3D形状を生成するための、Implicit Maximum Likelihood Estimation (IMLE) を用いた新規なマルチモーダル形状補完手法を提案する。GAN に内在するモードコラプスを回避することで、先行手法と比較して優れた多様性と幾何構造の保持を達成し、Total Mutual Difference において最先端の性能を示し、Unidirectional Hausdorff Distance においても競争力のある性能を発揮する。

ABSTRACT

Shape completion is the problem of completing partial input shapes such as partial scans. This problem finds important applications in computer vision and robotics due to issues such as occlusion or sparsity in real-world data. However, most of the existing research related to shape completion has been focused on completing shapes by learning a one-to-one mapping which limits the diversity and creativity of the produced results. We propose a novel multimodal shape completion technique that is effectively able to learn a one-to-many mapping and generates diverse complete shapes. Our approach is based on the conditional Implicit MaximumLikelihood Estimation (IMLE) technique wherein we condition our inputs on partial 3D point clouds. We extensively evaluate our approach by comparing it to various baselines both quantitatively and qualitatively. We show that our method is superior to alternatives in terms of completeness and diversity of shapes.

研究の動機と目的

• 形状補完の不適切な定式化に応じて、単一の出力ではなく複数の妥当な補完を生成することにより、問題を解決すること。
• 条件付き GAN に内在するモードコラプスを克服し、生成形状の構造的多様性を制限する要因を排除すること。
• IMLE を用いた一対多のマッピングを構築することで、多様で幾何学的注意を払った形状補完を実現すること。
• 部分レベルの監視がなくても、未観測の不完全な形状、特に全体的な部品が欠落している形状に対しても一般化できることを示すこと。
• 条件付き GAN よりも低い訓練および推論コストで高い性能を達成すること。

提案手法

• 本手法は、部分点群とランダムノイズからなる潜在コードを完全形状にマップする生成器を、条件付き IMLE で訓練する。
• 自己符号化器が部分入力を符号化し、完全形状を再構築する。生成器は微分可能サンプリングを用いて、暗黙的尤度を最小化するように訓練される。
• デコーダーは潜在コードから生成形状を再構築し、識別器を用いずに勾配ベースの更新によってモデルが最適化される。
• 生成器は暗黙的尤度目的関数の微分可能近似を用いて訓練され、生成器のパラメータ数が GAN よりも少ないエンドツーエンドの訓練が可能になる。
• エンコーダーとデコーダーには 1D 畳み込み層とバッチ正規化を用い、生成器には線形層を用いる。
• 推論時、1 つの部分形状に対して 10 個のサンプルを生成し、多様性と完全性を評価する。

実験結果

リサーチクエスチョン

• RQ1 IMLE を用いた訓練は、1 つの部分点群入力から構造的に多様な 3D 形状を効果的に生成できるか？
• RQ2 提案手法は、条件付き GAN よりもモードコラプスを効果的に回避し、より多様な補完を生成できるか？
• RQ3 部分レベルの監視がなくても、全体的な部品が欠落しているような不完全な形状に対し、一般化できるか？
• RQ4 多様性（Total Mutual Difference）と形状忠実度（Unidirectional Hausdorff Distance）という観点から、定量的にどの程度の性能を発揮するか？
• RQ5 条件付き GAN と比較して、訓練および推論の効率にどの程度の向上が見られるか？

主な発見

• 提案手法は、ノイズのある入力に対して Total Mutual Difference 2.71 × 10⁻² を達成し、強い構造的多様性を示している。
• ノイズのある入力に対して Unidirectional Hausdorff Distance 8.84 × 10⁻² を達成し、入力の汚損に対して高い耐性を示している。
• RobustPointSet のような未学習のデータセットに対しても、ノイズや回転などの複雑なアーチファクトを含む形状に対し、良好な一般化性能を示している。
• 条件付き GAN よりも高速な訓練（13.5 時間）と推論（1 形状あたり 2 ms）を達成しており、条件付き GAN は 1 秒あたり 20 ms の推論コストを要する。
• 部分レベルの監視がなくても、モデルは正しい位置に欠落している部品を正確に幾何学的形状と対称性を保ちながら生成している。
• グローバルノイズを注入しても、欠落部の局所的変動が生じるなど、構造的に多様な補完を生成している。