[論文レビュー] Animate124: Animating One Image to 4D Dynamic Scene

Yuyang Zhao, Zhiwen Yan+4 more|arXiv (Cornell University)|Nov 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Animate124 は、1枚の屋外画像とテキストによる動きの指示を入力として、3段階の静的から動的へ、粗いものから細かいものへと段階的な最適化を行うフレームワークを初めて導入し、4Dの動的3Dビデオを生成する。2D・3D・動画の拡散プライオリティを活用し、4Dグリッドベースの動的NeRFを採用。個人化された意味的精錬を組み込むことで、動きのずれを軽減し、高精細で時間的に一貫性のある3Dアニメーションを実現する。

ABSTRACT

We introduce Animate124 (Animate-one-image-to-4D), the first work to animate a single in-the-wild image into 3D video through textual motion descriptions, an underexplored problem with significant applications. Our 4D generation leverages an advanced 4D grid dynamic Neural Radiance Field (NeRF) model, optimized in three distinct stages using multiple diffusion priors. Initially, a static model is optimized using the reference image, guided by 2D and 3D diffusion priors, which serves as the initialization for the dynamic NeRF. Subsequently, a video diffusion model is employed to learn the motion specific to the subject. However, the object in the 3D videos tends to drift away from the reference image over time. This drift is mainly due to the misalignment between the text prompt and the reference image in the video diffusion model. In the final stage, a personalized diffusion prior is therefore utilized to address the semantic drift. As the pioneering image-text-to-4D generation framework, our method demonstrates significant advancements over existing baselines, evidenced by comprehensive quantitative and qualitative assessments.

研究の動機と目的

• 1枚の画像とテキスト記述からの制御可能な3Dビデオ生成の欠如に対処し、動的3Dコンテンツ作成分野における重要なギャップを埋める。
• 1枚の参照画像を時間経過にわたってアニメートする際、動画拡散モデルにおける意味的ずれの課題を克服する。
• 時間的・空間的次元において、幾何学的整合性と外観の忠実度を保持する強固な4D表現を開発する。
• 静的3D再構築から動的3Dビデオ生成へと段階的に進化する3段階の最適化パイプラインを導入し、段階的な精錬を実現する。
• 最終段階の精錬段階で個人化された拡散プライオリティを活用し、参照画像との一致を高め、ビデオの品質と整合性を向上させる。

提案手法

• 1枚の参照画像から静的3Dシーンを初期化するために、2D画像拡散プライオリティと3D拡散プライオリティを用い、動的モデルの基盤を構築する。
• 時間経過にわたる動きを生成するために動画拡散プライオリティを適用し、初期フレームに条件付けられて、被写体のポーズと外観を一致させる。
• スパティオテンポラル情報を表現するために4Dグリッド特徴エンコーディングを実装し、HexPlaneベースのNeRFに内在するジャンヌス問題を回避する。
• 初期および後期のタイムステップに対する監視を強化するために、時間的バランスの取れたサンプリングを導入し、初期フレームの整合性と動きの安定性を向上させる。
• ControlNet-Tileとテキストインバージョンを用いた意味的精錬を導入し、個人化された画像プライオリティを注入することで、意味的ずれを是正し、視覚的忠実度を向上させる。
• 最終段階でフレーム単位の個人化モデリングを適用し、外観と解像度を精錬しながら、動きと構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 1枚の屋外画像を、テキストによる動きの指示のみをガイドとして、4Dの動的3Dビデオに効果的にアニメートできるか？
• RQ2 1枚の画像のみを条件付けとして使用する場合、動画拡散モデルにおける意味的ずれをどのように軽減できるか？
• RQ3 4Dグリッドエンコーディングは、3Dビデオ生成中に3D幾何学を保ち、ジャンヌス問題を低減する点で、HexPlaneベースのNeRFを上回るか？
• RQ4 ビデオレベルの監視が不要な状態で、個人化された拡散プライオリティが3Dビデオの品質を効果的に精錬できるか？
• RQ5 時間的バランスの取れたサンプリングは、生成された3Dビデオの初期タイムステップの視覚的品質をどの程度向上させるか？

主な発見

• Animate124 は、画像から4Dビデオへの変換分野で最先端のパフォーマンスを達成し、定量的指標および定性的なリアリズムの両面で、既存のベースラインを上回っている。
• 4Dグリッドエンコーディングは、HexPlaneと比較してジャンヌス問題を顕著に低減しており、特にどの平面に対してもほぼ垂直なカメラ視点の場合に顕著である。
• ControlNet-Tileと個人化モデリングを用いた意味的精錬により、意味的ずれが軽減され、外観の一貫性が向上し、エラーを拡大する可能性のある超解像ベースの精錬を上回っている。
• 時間的バランスの取れたサンプリングにより、最初のフレームと最後のフレームに対する監視が強化され、初期の動きと外観の正確性が向上し、視覚的品質が向上している。
• 3段階のフレームワークにより、長時間にわたるシーケンスにおいても、一貫性のある動き、幾何学、外観を有する高精細な3Dビデオ生成が可能である。
• 定性的な結果から、Animate124 は、複雑な動きを伴う多様な被写体（例：動物、人物）を、アイデンティティと空間的一致性を保持したまま効果的にアニメートできていることが示された。