[論文レビュー] Multimodal Shape Completion via Conditional Generative Adversarial Networks

Rundi Wu, Xuelin Chen+2 more|arXiv (Cornell University)|Mar 17, 2020

3D Shape Modeling and Analysis参考文献 38被引用数 6

ひとこと要約

本論文は、ペairedトレーニングデータを必要とせず、不完全な点群から多様で高品質な完成形状を生成するための条件付き生成対抗ネットワーク（cGAN）を提案する。完全形状から学習した多モード潜在分布を用い、それを条件として生成することで、完成結果の多様性と忠実性の両方を達成し、一出力のベースラインを上回る定性的および定量的評価結果を得た。

ABSTRACT

Several deep learning methods have been proposed for completing partial data from shape acquisition setups, i.e., filling the regions that were missing in the shape. These methods, however, only complete the partial shape with a single output, ignoring the ambiguity when reasoning the missing geometry. Hence, we pose a multi-modal shape completion problem, in which we seek to complete the partial shape with multiple outputs by learning a one-to-many mapping. We develop the first multimodal shape completion method that completes the partial shape via conditional generative modeling, without requiring paired training data. Our approach distills the ambiguity by conditioning the completion on a learned multimodal distribution of possible results. We extensively evaluate the approach on several datasets that contain varying forms of shape incompleteness, and compare among several baseline methods and variants of our methods qualitatively and quantitatively, demonstrating the merit of our method in completing partial shapes with both diversity and quality.

研究の動機と目的

• 既存の形状補完手法が単一の決定的出力しか生成しないという限界を解決すること。これは、欠落した幾何学的構造に内在する曖昧性を無視しているためである。
• 可能な補完結果の多モード分布を学習することで、形状補完における1対多のマッピングをモデル化すること。
• 条件付き生成モデリングと明示的なモードエンコーダーを活用することで、ペアドトレーニングデータなしにマルチモーダル補完を実現すること。
• 完全形状の分布をモデル化する専用エンコーダーを訓練することで、潜在空間におけるモード崩壊を軽減すること。

提案手法

• 生成器が部分形状と潜在ベクトルを入力とし、学習済みの多モード分布に条件付けられた完成形状を出力する、条件付きGANフレームワークを設計する。
• 完全形状を低次元潜在空間にマップするモードエンコーダーを訓練し、可能な補完結果の分布を明示的にモデル化する。
• 生成器は敵対的損失により、生成された完成形状が実際の完全形状と区別できないように訓練される。
• 再構成損失により入力部分形状への忠実性が保証され、潜在再構成損失により生成モードの分離と多様性が促進される。
• 潜在空間と出力モードの間で一対一対応（双方向写像）を維持し、生成出力から潜在ベクトルを回復することで制約を課す。
• 未ペアの実スキャンデータを用いてエンドツーエンドで訓練することで、実世界のデータに直接適用可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルはペアドトレーニングデータを必要とせず、不完全な3次元形状に対して多様で高品質な補完結果を生成できるか？
• RQ2 低次元潜在空間において、形状補完のマルチモーダル性を効果的にモデル化し、分離可能か？
• RQ3 明示的なモードエンコーダーを備えた条件付きGANは、入力への忠実性を保ちながら、潜在空間におけるモード崩壊をどれほど効果的に回避できるか？
• RQ4 入力の不完全度が高くなると、生成された補完結果の多様性にどのような影響を与えるか？
• RQ5 提案手法は、不完全度が異なる実世界のスキャンデータにも一般化可能か？

主な発見

• 本手法は、実スキャンデータにおいて2.42×10⁻³のFrechet Point Cloud Distance（FID）を達成し、高品質な補完結果を示した。
• 本手法は、実スキャンにおいてTotal Mode Distance（TMD）3.17×10⁻²およびUniqueness-Hausdorff Distance（UHD）8.60×10⁻²を達成し、多様性と忠実性の両面で優れた性能を示した。
• 入力の不完全度が高くなるにつれて、補完の多様性（TMD）が増加し、モデルがより高い曖昧性下でも多様な出力を生成できることを確認した。
• t-SNE可視化から、潜在損失項の重みを高く設定することで、より明確に分離されたモードが得られ、モード崩壊が軽減されることが示された。
• 定性的および定量的評価の両面で、ベースライン手法を上回り、一貫して多様で忠実な補完結果を生成した。
• アブレーションスタディにより、再構成損失と潜在損失のバランスが、補完結果の多様性と忠実性を両立させるために不可欠であることが確認された。