[論文レビュー] Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data

Sebastian Lunz, Yingzhen Li+2 more|arXiv (Cornell University)|Feb 28, 2020

3D Shape Modeling and Analysis参考文献 60被引用数 37

ひとこと要約

IG-GANは、市販の非微分可能レンダラーと代理ニューラルレンダラー、そしてレンダリング過程で勾配を伝搬させるためのディスクリミネータ出力一致損失を組み合わせることで、非構造の2D画像から3D形状を生成することを学習します。

ABSTRACT

Recent work has shown the ability to learn generative models for 3D shapes from only unstructured 2D images. However, training such models requires differentiating through the rasterization step of the rendering process, therefore past work has focused on developing bespoke rendering models which smooth over this non-differentiable process in various ways. Such models are thus unable to take advantage of the photo-realistic, fully featured, industrial renderers built by the gaming and graphics industry. In this paper we introduce the first scalable training technique for 3D generative models from 2D data which utilizes an off-the-shelf non-differentiable renderer. To account for the non-differentiability, we introduce a proxy neural renderer to match the output of the non-differentiable renderer. We further propose discriminator output matching to ensure that the neural renderer learns to smooth over the rasterization appropriately. We evaluate our model on images rendered from our generated 3D shapes, and show that our model can consistently learn to generate better shapes than existing models when trained with exclusively unstructured 2D images.

研究の動機と目的

• 微分可能レンダリング制約なしに、非構造の2D画像のみから訓練された3D形状生成を有効にする。
• 市販の業界向けレンダラーを活用するため、訓練可能な代理ニューラルレンダラーを導入する。
• ディスクリミネータ出力一致を介して非微分可能性を補完し、連続的なボクセル表現を離散的なレンダリングと整合させる。
• 合成データおよび自然データセットにおいて、従来の2D教師あり手法よりも3D形状生成品質が向上することを示す。

提案手法

• 3D形状を連続的な占有値を持つボクセルとして表現する。
• 市販の非微分可能レンダラーを用いて、離散的なボクセル閾値をレンダリングする。
• 連続ボクセルを2D画像へ写像する代理ニューラルレンダラーを導入し、離散入力に対してオフ・ザ・シェルレンダラーと一致するよう訓練する（L2損失）。
• Discriminator Output Matching (DOM) lossを定義し、離散レンダリングが閾値処理されたときにニューラルレンダラーの出力をディスクリミネータの期待と整列させる。
• 代理レンダラーを介して、ディスクリミネータからニューロレンダラーへ、さらに3D生成器へ勾配が伝わるGAN目的で訓練する。
• 連続的なボクセル生成器に微分可能なフィードバックを提供するよう、ニューラルレンダラーを用いた報酬近似手順を採用する（困難なスコア関数を回避）。

実験結果

リサーチクエスチョン

• RQ1 非構造の2D画像を用いて、微分可能なレンダリングなしでもスケーラブルな3D形状生成器を学習できるか。
• RQ2 DOM損失と組み合わせた代理ニューラルレンダラーは、非微分可能なレンダリング手順を通じた有効な勾配伝播を可能にするか。
• RQ3 IG-GANは、合成データと自然データセットで既存の2D教師あり3D生成手法とどのように比較されるか。
• RQ4 2D画像における照明・陰影・凹凸は、生成される3D形状の品質をどの程度改善するか。

主な発見

• IG-GANはShapeNet由来のデータセット（浴槽、ソファ、椅子）で基準より2D FIDスコアを一貫して改善する。
• 照明と陰影の手掛かりをより活用できるため、凹状の物体（例：浴槽やソファ）で特に優れている。
• Discriminator Output Matching（DOM）は訓練の安定性と品質にとって重要であり、DOMを除去または弱めると結果が劣化する。
• 自然画像（チャンタレルキノコ）と合成データの両方で現実的な3D形状を生成する。
• ニューラルレンダラーの事前訓練は有益であるが、ドメインに関連するデータを事前訓練に用いる限り、異なる事前訓練に対する頑健性が観察される。