[論文レビュー] Convolutional Generation of Textured 3D Meshes

Dario Pavllo, Graham Spinks+3 more|arXiv (Cornell University)|Jun 13, 2020

3D Shape Modeling and Analysis参考文献 71被引用数 26

ひとこと要約

本論文は、自然画像からの単一視点2D監視のみを用いて、高解像度のテクスチャ付き3Dトライアングルメッシュを生成する2次元畳み込みGANフレームワークを提案する。メッシュとテクスチャをポーズに依存しないUV空間に符号化し、意味的整合性を保つことで、形状と外観の制御可能で分離可能な生成が可能となり、Pascal3D+ CarsおよびCUBデータセットにおいてメッシュおよびテクスチャの品質で最先端の結果を達成した。

ABSTRACT

While recent generative models for 2D images achieve impressive visual results, they clearly lack the ability to perform 3D reasoning. This heavily restricts the degree of control over generated objects as well as the possible applications of such models. In this work, we bridge this gap by leveraging recent advances in differentiable rendering. We design a framework that can generate triangle meshes and associated high-resolution texture maps, using only 2D supervision from single-view natural images. A key contribution of our work is the encoding of the mesh and texture as 2D representations, which are semantically aligned and can be easily modeled by a 2D convolutional GAN. We demonstrate the efficacy of our method on Pascal3D+ Cars and CUB, both in an unconditional setting and in settings where the model is conditioned on class labels, attributes, and text. Finally, we propose an evaluation methodology that assesses the mesh and texture quality separately.

研究の動機と目的

• 2D画像生成と3D推論のギャップを埋めるために、2D監視からの制御可能で写実的な3Dメッシュ生成を可能にすること。
• 2D GANが3D空間的推論、オクルージョン、形状と外観の分離可能な制御を扱う能力に欠けるという限界を克服すること。
• メッシュ幾何学とテクスチャを同時に、意味的に整合したUV表現でモデル化するスケーラブルで2D畳み込み型のフレームワークを開発すること。
• クラスラベル、属性、テキストからの条件付き生成を可能とし、解釈可能な注目メカニズムを備えること。
• メッシュとテクスチャの品質を別々に評価する新しい評価プロトコルを提案すること。

提案手法

• メッシュテンプレートを接空間内で変位マップで変形する「畳み込みメッシュ」表現を導入し、滑らかさと2D畳み込みとの整合性を確保する。
• メッシュとテクスチャを共有UVマップに符号化することで、意味的整合性を保ち、2D畳み込みGANによる統合的モデリングを可能にする。
• 実画像をUVマップに投影する微分可能レンダリングパイプラインを導入し、2D監視によるエンドツーエンド学習を可能にする。
• ドメインの識別器が部分的可視性や不完全な視認を扱えるように、マスクを適用した入力を用いることで、オクルージョンへの耐性を向上させる。
• クラスラベル、属性、またはテキスト埋め込みを条件として生成器と識別器に与えることで条件付き生成を実現し、テキストから部位に一致する注目メカニズムをオプションで導入する。
• 標準的な2D GANアーキテクチャ（例：StyleGAN）をUV空間に適応させ、プログレッシブグローミングを用いずに高解像度出力（最大512×512）を実現する。

実験結果

リサーチクエスチョン

• RQ1 2D畳み込みGANは、単一視点2D監視のみを用いて、高解像度でリアルな3Dテクスチャ付きメッシュを生成できるか？
• RQ2 ポーズに依存しないUV空間表現は、3Dまたは2D画像ベースのアプローチと比較して、形状と外観のより良い分離を可能にするか？
• RQ3 テキスト、属性、またはクラスラベルを条件として、意味的な注目局所化を伴う3Dメッシュの制御可能な生成が可能か？
• RQ4 特に条件付き設定下において、従来の2Dおよび3D GANと比較して、メッシュおよびテクスチャの品質はどの程度向上するか？
• RQ5 統一された評価フレームワークにより、メッシュとテクスチャの忠実度を別々に測定でき、3D生成品質のより正確な評価が可能か？

主な発見

• 3D再構築ベースラインを用いたCUB鳥類の再構築において、FIDスコアが85.8に達し、これは提案手法が優れていることを示し、強い下限を確立した。
• CUBデータセットでは、条件付きテキストからメッシュへの生成において、テクスチャFIDが12.4、メッシュFIDが15.6を達成し、高品質な合成を実現した。
• UV空間における注目メカニズムは、特定のオブジェクト部位（例：「イエローカラーブラウニ」、「レッドチーク」）に正しく局所化されており、可視化により画像間での意味的整合性が確認された。
• UV空間における正確な意味的整合性のおかげで、プログレッシブグローミングを用いずに高解像度のテクスチャ（512×512）を生成できた。
• 条件付き生成によって、色や部位の識別子を独立して操作できるなど、形状と外観の分離可能な制御が実現された。
• アブレーションスタディにより、UV空間表現とマスク付き識別器が、これらのコンponentsを欠いたベースラインと比較して顕著に性能向上をもたらすことが確認された。