[論文レビュー] Instruct 3D-to-3D: Text Instruction Guided 3D-to-3D conversion

Hiromichi Kamata, Yuiko Sakuma+3 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

Instruct 3D-to-3D は、ソース3Dシーンを条件付きにした事前学習済み画像対画像拡散モデルを活用することで、高精細で一貫性があり、制御可能な3D生成を実現するテキスト指示誘導型3D-to-3D変換手法を提案する。本手法は、ソースシーンの条件付き入力と動的スケーリングを統合することで、ベースラインと比較して優れた品質と3Dの一貫性を達成する。

ABSTRACT

We propose a high-quality 3D-to-3D conversion method, Instruct 3D-to-3D. Our method is designed for a novel task, which is to convert a given 3D scene to another scene according to text instructions. Instruct 3D-to-3D applies pretrained Image-to-Image diffusion models for 3D-to-3D conversion. This enables the likelihood maximization of each viewpoint image and high-quality 3D generation. In addition, our proposed method explicitly inputs the source 3D scene as a condition, which enhances 3D consistency and controllability of how much of the source 3D scene structure is reflected. We also propose dynamic scaling, which allows the intensity of the geometry transformation to be adjusted. We performed quantitative and qualitative evaluations and showed that our proposed method achieves higher quality 3D-to-3D conversions than baseline methods.

研究の動機と目的

• 自然言語の指示によって誘導される制御可能で高品質な3D-to-3D編集の欠如に対処すること。
• テキスト誘導型3Dシーン変換中に3Dの一貫性と構造的忠実性を向上させること。
• 3D-to-3D変換中に幾何変換の強度をユーザーが制御できること。
• テキストとソース3Dジオメトリを条件として用いた事前学習済み画像対画像拡散モデルを活用し、高精細な3D生成を達成すること。
• テキストに基づく表現的な編集を可能にしつつ、ソースシーンの意味的・構造的コンテンツを保持する手法を提供すること。

提案手法

• 本手法は、ターゲット3Dシーンからレンダリングされた2Dビューの尤度を最大化する目的で、事前学習済みの画像対画像拡散モデルを用いることで、高品質な画像を保証する。
• 構造的・意味的整合性を維持するために、ソース3Dシーンを明示的な条件入力として使用する。
• ボクセルグリッドの解像度を段階的に調整できる動的スケーリングを導入し、滑らかで制御可能な幾何変換を実現する。
• 幾何変化は、拡散プロセスにおける反復的ノイズ除去を通じてボクセルグリッドベースの暗黙的モデルに適用される。
• 出力にテキスト指示の影響を制御するために、拡散プロセス中に分類器フリーのガイドランスを適用する。
• ノイズ予測損失を最小化することで、非ノイズ処理済みビューとターゲット画像の差を最小限に抑えることで、NeRFに類似した3D表現を最適化する。

Figure 1: Overview of Instruct 3D-to-3D. First, the target model is initialized with the source model (i). Next, the target image is rendered from a random camera viewpoint (ii) and then the noise is added to input into InstructPix2Pix. The source image is rendered from the same viewpoint (iii) and

実験結果

リサーチクエスチョン

• RQ1 テキスト指示誘導型3D-to-3D変換は、従来手法と比較して、より高い画像品質と3Dの一貫性を達成できるか？
• RQ2 3D-to-3D編集中に幾何変換の強度をどのように制御できるか？
• RQ3 ソース3Dシーンに条件付けすることで、構造的忠実性が向上し、生成シーンの分布シフトが低減するか？
• RQ4 動的スケーリングは、従来のプログレッシブスケーリングと比較して、変換中の3D構造をよりよく保持できるか？
• RQ5 特に複雑な指示に対して、テキスト誘導型3D編集における空間的推論の制限が及ぼす影響は何か？

主な発見

• Instruct 3D-to-3D は、DreamFusion や CLIP-NeRF よりも低い BRISQUE スコア（より高い画像品質を示す）を達成しており、優れた視覚的品質を示している。
• CLIP スコアは DreamFusion と同等であり、CLIP の最適化を明示的に行わなくても強力なテキスト-画像整合性を達成している。
• ユーザーの好み評価では、72%のケースで Instruct 3D-to-3D が DreamFusion や CLIP-NeRF よりも好まれており、より高い知覚的品質を示している。
• 動的スケーリングはプログレッシブスケーリングよりも3D構造をよりよく保持しており、急激なボクセル減少による顕著な構造的損傷を回避している。
• 動的スケーリングの係数を大きくすると構造的変更が顕著になるため、変換強度の制御可能性が確認された。
• 空間的推論タスク（例：椅子の上に物体を配置）では失敗ケースが発生し、モデルが構造的コンponentsを誤って変更するため、深さ認識の推論の必要性が示された。

Figure 2: Comparison of progressive scaling and proposed dynamic scaling. In dynamic scaling, we first gradually decrease the number of voxels to change the global structure, then increase them to change to the local structure.