[論文レビュー] Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering

Yu-Xuan Zhang, Wenzheng Chen+5 more|arXiv (Cornell University)|Oct 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 57

ひとこと要約

本論文は、GAN で生成された多視点データセットと微分可能レンダラーを用いて逆グラフィックスネットワークを学習し、次に StyleGAN の潜在空間を分離させて、制御可能な 3D ニューラルレンダラー（StyleGAN-R）を作成する。

ABSTRACT

Differentiable rendering has paved the way to training neural networks to perform "inverse graphics" tasks such as predicting 3D geometry from monocular photographs. To train high performing models, most of the current approaches rely on multi-view imagery which are not readily available in practice. Recent Generative Adversarial Networks (GANs) that synthesize images, in contrast, seem to acquire 3D knowledge implicitly during training: object viewpoints can be manipulated by simply manipulating the latent codes. However, these latent codes often lack further physical interpretation and thus GANs cannot easily be inverted to perform explicit 3D reasoning. In this paper, we aim to extract and disentangle 3D knowledge learned by generative models by utilizing differentiable renderers. Key to our approach is to exploit GANs as a multi-view data generator to train an inverse graphics network using an off-the-shelf differentiable renderer, and the trained inverse graphics network as a teacher to disentangle the GAN's latent code into interpretable 3D properties. The entire architecture is trained iteratively using cycle consistency losses. We show that our approach significantly outperforms state-of-the-art inverse graphics networks trained on existing datasets, both quantitatively and via user studies. We further showcase the disentangled GAN as a controllable 3D "neural renderer", complementing traditional graphics renderers.

研究の動機と目的

• StyleGANをマルチビューのデータ生成器として活用し、単一視点画像からの逆グラフィックスを可能にする。
• 微分可能レンダリング機構を組み込んだ逆グラフィックスネットワークを訓練し、3Dジオメトリとテクスチャを予測する。
• 逆グラフィックスを用いて StyleGAN の潜在空間を分離させ、解釈可能な3D表現を得る。
• Shape、Texture、Background に対する明示的な3D制御を備えた、StyleGANを制御可能な3Dニューラルレンダラー（StyleGAN-R）へと転換する。
• 3D再構成品質の改善を示し、3D操作とニューラルレンダリング機能を実証する。

提案手法

• 視点コード w_v* を固定し、内容コードを変化させることで StyleGAN を用いて多視点画像を生成する。
• DIB-R を微分可能レンダラーとして用いた逆グラフィックスネットワーク f_theta を訓練し、画像 I_V とマスク M からメッシュ S とテクスチャ T を予測する。
• 視点ペア間でマルチビュー整合性損失を適用し、3D特性を監督する。
• 視点、形状、テクスチャ、背景を StyleGAN の潜在空間 W* に写像するマッピングネットワークを訓練し、分離を実現する（StyleGAN-R）。
• 循環一貫性損失を用いて、マッピングネットワークと共に StyleGAN をファインチューニングし、前景と背景を分離しつつ分離性を促進する。
• 任意で StyleGAN-R を用いて結果をレンダリングし、従来の微分可能レンダラー（DIB-R）と比較する。

実験結果

リサーチクエスチョン

• RQ1 GAN は3Dの知識を暗黙的に学習し、3Dの真値データなしに明示的な3D推論のための可逆性を持たせることができるか？
• RQ2 GAN生成の多視点データで訓練した微分可能レンダラーを用いた逆グラフィックスネットワークは、従来の3Dデータセットで訓練したモデルよりも性能が良いか？
• RQ3 3D特性（形状、テクスチャ、背景）へと解釈可能なものとして StyleGAN の潜在空間を、3D特性から学習した写像を介して分離できるか？
• RQ4 GANを分離させることは、視点変更や3D特性の交換を含む、制御可能な3Dニューラルレンダラーを実現するか？
• RQ5 マルチビュー整合性損失が再構成品質に与える影響は何か？

主な発見

• StyleGANのマルチビュー・データセットで学習した逆グラフィックスは、Pascal3Dで学習したモデルと比べて3D再構成品質を大幅に向上させる。
• StyleGAN生成データセットは、はるかに大きく、効率的に注釈付きトレーニングデータを提供できる（例：50K の StyleGAN 車両 vs 約4K の Pascal3D）、注釈作業時間も大幅に短縮される（数分対数百時間）。
• 学習済みの写像ネットワークとファインチューニングされた StyleGAN は、視点変更や3D特性の交換（形状・テクスチャ・背景）を含む、制御可能な3Dレンダリングが可能な分離された StyleGAN-R を生成する。
• 実験は、再投影ビューで評価した場合に2D IOUスコアが高く、ユーザ調査でも Pascal3D ベースラインより StyleGAN ベースの再構成を支持することを示す。
• アブレーション研究は、予測のテクスチャと形状品質を向上させるためのマルチビュー整合性損失の重要性を示す。