[論文レビュー] Unsupervised 3D Shape Completion through GAN Inversion

Junzhe Zhang, Xinyi Chen+7 more|arXiv (Cornell University)|Apr 27, 2021

3D Shape Modeling and Analysis参考文献 38被引用数 9

ひとこと要約

本稿では、教師ありのペアデータを必要とせず、部分的な入力から完全な形状を再構築するためにGANの逆問題解法を活用する、ShapeInversionと呼ばれる非教師あり3次元形状補完手法を提案する。事前に学習されたGANの潜在空間において、部分入力を最もよく再構築するように潜在コードを最適化することで、非教師あり手法の中で最先端の性能を達成し、多様な部分形状や実世界スキャンに対しても頑健に一般化する。さらに、複数出力生成、形状のジャイタリング、補間といった追加機能も可能である。

ABSTRACT

Most 3D shape completion approaches rely heavily on partial-complete shape pairs and learn in a fully supervised manner. Despite their impressive performances on in-domain data, when generalizing to partial shapes in other forms or real-world partial scans, they often obtain unsatisfactory results due to domain gaps. In contrast to previous fully supervised approaches, in this paper we present ShapeInversion, which introduces Generative Adversarial Network (GAN) inversion to shape completion for the first time. ShapeInversion uses a GAN pre-trained on complete shapes by searching for a latent code that gives a complete shape that best reconstructs the given partial input. In this way, ShapeInversion no longer needs paired training data, and is capable of incorporating the rich prior captured in a well-trained generative model. On the ShapeNet benchmark, the proposed ShapeInversion outperforms the SOTA unsupervised method, and is comparable with supervised methods that are learned using paired data. It also demonstrates remarkable generalization ability, giving robust results for real-world scans and partial inputs of various forms and incompleteness levels. Importantly, ShapeInversion naturally enables a series of additional abilities thanks to the involvement of a pre-trained GAN, such as producing multiple valid complete shapes for an ambiguous partial input, as well as shape manipulation and interpolation.

研究の動機と目的

• 3次元形状補完におけるドメイン一般化ギャップを解消すること。具体的には、教師あり手法が、ドメイン外の部分スキャンや非標準的な部分形状に対して失敗する問題に対処すること。
• 部分形状と完全形状のペアデータセットを必要としないようにし、事前学習済みの生成モデルをインダクティブバイアスとして活用すること。
• GANベースのフレームワークにおける潜在空間操作を通じて、複数の妥当な補完結果の生成、形状の操作、補間を可能にすること。
• 3次元GANの逆問題解法における課題、特に非一様な点群分布や順序なし点群における曖昧な点対応を克服すること。

提案手法

• 部分点群の均一性を向上させるために、パッチ中心とその最近接点群間の平均距離の分散を最小化する新しい損失関数「PatchVariance損失」を導入。これはGAN学習中に点群の均一性を改善する。
• 部分入力と生成形状間の点対応を推定するために、動的kマスク機構を提案。各部分点を予測結果におけるk番目の近隣点に割り当てる。
• 生成された形状が与えられた部分入力を最もよく再構築するように潜在コードzを最適化することでGAN逆問題を実行。再構築損失の計算にはkマスクを用いる。
• 潜在コードzと生成器パラメータθの最適化を、徐々に学習率を下げる段階的サブステージに分割することで、収束性と安定性を向上。
• 完全形状で事前学習済みのGAN（例：r-GAN や tree-GAN）を用い、実スキャンデータへの微調整なしにゼロショット補完を可能にする。
• 潜在コードzを摂動または補間することで、形状のジャイタリングや補間を実現。事前学習済みGANの分離済みで連続的な潜在空間を活用する。

Figure 1: ShapeInversion incorporates the prior captured by a well-trained GAN. It shows exceptional generalization ability for shape completion: is invariant to partial form changes, i.e. , (a) virtual scans, generated by back-projecting 2.5D depth images into 3D, (b) ball-holed partial shapes, gen

実験結果

リサーチクエスチョン

• RQ1 ペア学習データを一切必要としない状況下で、GANの逆問題が3次元形状補完に効果的に適用可能か？
• RQ2 仮想スキャン、ボールホール形状、実世界スキャンを含む多様な部分形状に対し、GANベースの手法がどれほど一般化できるか？
• RQ3 事前学習済みGANの潜在空間が、自然に多様な補完、形状操作、補間をサポートできるか？
• RQ4 非一様な点群分布や順序なし点群構造が3次元GANの逆問題に与える影響は何か？また、それらをどのように軽減できるか？

主な発見

• ShapeInversionは、ペアデータを一切使用しないSOTA非教師あり手法pcl2pclよりも優れた性能を示し、教師あり手法と同等の結果を達成した。
• 仮想スキャン、ボールホール形状、セマンティック部品の除去、ScanNetおよびKITTIの実スキャンを含む、すべてのテストされた部分形状に対して、頑健に一般化した。
• 実スキャンにおいて、ShapeInversionはpcl2pclよりも高い忠実度と入力との整合性を達成した。pcl2pclは実スキャンデータへの再学習を必要としていた。
• PatchVariance損失は、細部構造やボリューム構造を含むすべての形状カテゴリにおいて、アーキテクチャの変更なしに生成点群の均一性を著しく向上させた。
• kマスク機構により、セマンティック部品が空間的にずれている場合でも、動的かつ頑健な対応関係推定が可能となり、固定閾値やボクセルベースのベースラインを上回った。
• 事前学習済みGANの分離済み潜在空間のおかげで、ShapeInversionは自然に多様な補完、形状のジャイタリング、補間をサポートしている。

Figure 2: GAN inversion for shape completion. A latent vector $\mathbf{z}$ is used by the pre-trained generator $G$ to reconstruct a complete shape $\mathbf{x}_{c}$ . The degradation function $M$ (Sec. 3.2 ) then transforms $\mathbf{x}_{c}$ into a partial shape $\mathbf{x}_{p}$ . The supervision sig