[論文レビュー] Shape Completion via IMLE

Himanshu Arora, S. Mishra+3 more|arXiv (Cornell University)|Jun 30, 2021

3D Shape Modeling and Analysis被引用数 1

ひとこと要約

本稿では、部分的な3D点群から一対多のマッピングを学習するための条件付き暗黙的最大尤度推定（IMLE）を用いたマルチモーダル形状補完手法を提案する。これにより、多様で完全な形状生成が可能になる。このアプローチは、従来の1対1マッピング手法と比較して、形状の多様性と完全性の両面で顕著な向上を達成する。

ABSTRACT

Shape completion is the problem of completing partial input shapes such as partial scans. This problem finds important applications in computer vision and robotics due to issues such as occlusion or sparsity in real-world data. However, most of the existing research related to shape completion has been focused on completing shapes by learning a one-to-one mapping which limits the diversity and creativity of the produced results. We propose a novel multimodal shape completion technique that is effectively able to learn a one-to-many mapping and generates diverse complete shapes. Our approach is based on the conditional Implicit MaximumLikelihood Estimation (IMLE) technique wherein we condition our inputs on partial 3D point clouds. We extensively evaluate our approach by comparing it to various baselines both quantitatively and qualitatively. We show that our method is superior to alternatives in terms of completeness and diversity of shapes

研究の動機と目的

• 従来の形状補完手法が1対1マッピングに依存するという制限を解消し、形状の多様性を制限しないこと。
• 部分的な3D点群から多様で現実的で完全な形状を生成できること。
• マルチモーダル形状分布を効果的に捉える学習フレームワークを開発すること。
• 先行手法と比較して、形状補完結果の完全性と多様性の両方を向上させること。

提案手法

• 本手法は、部分入力に対して完全形状の分布をモデル化するために、条件付き暗黙的最大尤度推定（IMLE）を採用する。
• 欠損した幾何学的構造の補完をガイドするために、部分3D点群を条件として生成プロセスを制御する。
• 完全形状の条件付き分布をモデル化することで一対多マッピングを学習し、多様な出力を可能にする。
• 明示的な密度推定を回避するため、暗黙的尤度推定を用いてエンドツーエンドでモデルを訓練する。
• 深層ニューラルネットワークを用いて条件付き生成関数をパrameter化する。
• サンプリングによって学習された条件付き分布から生成することで、マルチモーダル生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 部分入力から多様な形状を生成できるように、形状補完手法が一対多マッピングを効果的に学習できるか。
• RQ2 条件付きIMLEは、従来の1対1マッピング手法と比較して、形状の多様性と完全性においてどのように優れているか。
• RQ3 提案手法は、さまざまな部分スキャンパターンや形状に対してどの程度一般化可能か。
• RQ4 マルチモーダルモデリングは、生成形状の現実性と構造的整合性にどのような影響を与えるか。

主な発見

• 提案手法は、1対1マッピングを学習するベースラインと比較して、形状の多様性において優れた性能を達成する。
• 定量的評価により、生成形状の完全性が向上していることが確認され、欠損部の再構築が良好であることが示された。
• 定性的な結果から、モデルが多様で妥当性があり、構造的に整合性のある完全形状を生成していることが明らかになった。
• 本手法は、同じ部分入力に対して複数の妥当な補完を生成できるように、マルチモーダル形状分布を効果的に捉えている。
• 条件付きIMLEの使用により、明示的な密度モデリングを不要としつつ、安定した学習と高品質な生成が可能になった。
• 本手法は、さまざまな部分スキャンタイプとオブジェクトカテゴリにわたり、良好な一般化性能を示した。