[論文レビュー] HoloDiffusion: Training a 3D Diffusion Model using 2D Images

Animesh Karnewar, Andrea Vedaldi+2 more|arXiv (Cornell University)|Mar 29, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

HoloDiffusionは、3次元の監視情報なしに、ポーズ付き2次元画像のみでトレーニングされた最初の3次元対応生成拡散モデルを紹介する。ハイブリッドな明示的・暗黙的特徴グリッドと微分可能レンダリング損失を用いることで、3次元の監視情報なしにエンドツーエンドのトレーニングが可能になる。CO3Dv2データセットにおいて、最先端の3次元視点一貫性とサンプル品質を達成し、FIDおよびKID指標で既存手法を上回る。同時に、スケーラブルでメモリと分離された推論を維持する。

ABSTRACT

Diffusion models have emerged as the best approach for generative modeling of 2D images. Part of their success is due to the possibility of training them on millions if not billions of images with a stable learning objective. However, extending these models to 3D remains difficult for two reasons. First, finding a large quantity of 3D training data is much more complex than for 2D images. Second, while it is conceptually trivial to extend the models to operate on 3D rather than 2D grids, the associated cubic growth in memory and compute complexity makes this infeasible. We address the first challenge by introducing a new diffusion setup that can be trained, end-to-end, with only posed 2D images for supervision; and the second challenge by proposing an image formation model that decouples model memory from spatial memory. We evaluate our method on real-world data, using the CO3D dataset which has not been used to train 3D generative models before. We show that our diffusion models are scalable, train robustly, and are competitive in terms of sample quality and fidelity to existing approaches for 3D generative modeling.

研究の動機と目的

• 3次元の監視情報が不要な、ポーズ付き2次元画像のみを用いた3次元拡散モデルのトレーニングを可能にすること。
• 3次元拡散モデルの立方体型のメモリおよび計算複雑性を軽減し、特徴グリッドの解像度をレンダリング解像度から分離すること。
• 学習可能な微分可能レンダリングモジュールを用いて、あらゆる視点での3次元一貫性のある生成を保証すること。
• 2次元の監視情報のみでトレーニングされたにもかかわらず、既存の3次元生成モデルと比較して競争力のあるサンプル品質と忠実度を達成すること。
• CO3Dv2データセットの実世界のカテゴリ固有の3次元データに対して、スケーラビリティと頑健性を示すこと。

提案手法

• 本手法は、3次元特徴を格納し、任意の視点への微分可能レンダリングを可能にするハイブリッドな明示的・暗黙的特徴グリッドを用いる。
• 事前トレーニング済みの画像エンコーダーが入力の2次元画像から特徴を抽出し、それを3次元特徴グリッドの条件付けに使用する。
• 3次元特徴グリッドにノイズが追加され、3次元U-Netデノイザーが、レンダリングされた画像と実際のトレーニング画像の間の光度損失を用いて、このプロセスを逆転させるようにトレーニングされる。
• トレーニング目的は、デノイズドグリッドからレンダリングされた画像と対応する実画像との間のL2損失として定義され、エンドツーエンド最適化を可能にする。
• 特徴グリッドの解像度をレンダリング解像度から分離することで、メモリ複雑性を低減し、モデルサイズを増加させずに高精細なレンダリングを実現する。
• 3次元の真値データにアクセスせずに、ポーズ付き画像の監視情報のみを用いてエンドツーエンドでトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 3次元の監視情報なしに、ポーズ付き2次元画像のみで3次元拡散モデルを効果的にトレーニングできるか？
• RQ2 2次元画像データのみでトレーニングされた拡散モデルにおいて、3次元の視点一貫性をどのように確保できるか？
• RQ3 特徴グリッド解像度をレンダリング解像度から分離することで、メモリ効率の良い3次元表現を設計できるか？
• RQ4 2次元の監視情報でトレーニングされた3次元拡散モデルは、既存の3次元生成モデルと比較して、サンプル品質と忠実度の面でどの程度の性能を示すか？
• RQ5 モデルはカテゴリをまたいで一般化でき、少数のビュー入力から多様で高品質な3次元一貫性のあるサンプルを生成できるか？

主な発見

• HoloDiffusionはCO3Dv2データセットで最先端のFIDおよびKIDスコアを達成し、平均FIDは104.9、平均KIDは0.091であり、EG3DやGET3Dを上回る。
• テディベアカテゴリでは、FIDが109.2、KIDが0.106を達成し、pi-GANの125.8 FIDおよび0.118 KIDを顕著に上回る。
• 定性的な比較により、視点間で一貫した外観を示す高視点一貫性の高いサンプルを生成する。pi-GANとは異なり、3次元の一貫性に欠ける。
• HoloDiffusionは少数画像設定にもよく一般化され、限られた監視情報でも堅牢なトレーニングを維持する。
• 反復的サンプリングプロセスにおいて、ノイズから一貫した3次元構造に進化する様子が、モデルの3次元対応生成の明確な証左となる。
• アブレーションスタディにより、ブートストラップ版のHoloDiffusionが性能を向上させることを確認し、自己教師付き精錬の利点を示している。