[論文レビュー] DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors

Jinbo Xing, Menghan Xia+7 more|arXiv (Cornell University)|Oct 18, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

DynamiCrafterは、二重ストリームインジェクション機構を用いて動画拡散事前学習を活用することで、オープンドメインの画像をアニメーション化するための新規手法を提案する。1つのストリームはテキストに整合したコンテキスト特徴を用い、意味的な動きの理解を図る。もう1つのストリームはノイズを含む完全な画像を入力とし、視覚的詳細の保持を図る。本手法は、既存の手法と比較して優れた動きの自然さ、画像の忠実度、テキスト誘導型の動き制御を達成する。

ABSTRACT

Animating a still image offers an engaging visual experience. Traditional image animation techniques mainly focus on animating natural scenes with stochastic dynamics (e.g. clouds and fluid) or domain-specific motions (e.g. human hair or body motions), and thus limits their applicability to more general visual content. To overcome this limitation, we explore the synthesis of dynamic content for open-domain images, converting them into animated videos. The key idea is to utilize the motion prior of text-to-video diffusion models by incorporating the image into the generative process as guidance. Given an image, we first project it into a text-aligned rich context representation space using a query transformer, which facilitates the video model to digest the image content in a compatible fashion. However, some visual details still struggle to be preserved in the resultant videos. To supplement with more precise image information, we further feed the full image to the diffusion model by concatenating it with the initial noises. Experimental results show that our proposed method can produce visually convincing and more logical & natural motions, as well as higher conformity to the input image. Comparative evaluation demonstrates the notable superiority of our approach over existing competitors.

研究の動機と目的

• ドメイン特化型または確率的動きタイプにとどまらない、オープンドメインの画像に対する高忠実度なアニメーション化を可能にすること。
• 既存のテキストから動画への変換モデルが、画像の詳細を保持するのと同時に時間的整合性を維持する点での限界を克服すること。
• テキストプロンプトを用いて画像アニメーションにおける動きのダイナミクスを制御することの可能性を検討すること。
• 意味的理解と視覚的詳細の保持の両立を図る二重ストリーム画像インジェクション機構を開発すること。
• 最小限のアーキテクチャ的変更で、一般用途の画像アニメーションに事前学習済みの動画拡散モデルを適用可能であることを実証すること。

提案手法

• クエリ変換ネットワークが、事前学習済みのCLIP画像エンコーダーを用いて、入力画像をテキストに整合した豊富なコンテキスト表現空間に写像する。
• クロスアテンション層内でゲーテッド畳み込みを用いて、コンテキスト表現とテキスト条件付き特徴を融合し、動き合成をガイドする。
• 2番目のストリームでは、初期ノイズと連結することで完全な入力画像をインジェクションし、正確な視覚的詳細の監視を提供する。
• 推論時にマルチ条件分類器フリー・ガイドランスを適用し、画像忠実度（s_img）とテキストプロンプトへの適合性（s_txt）を別々に制御可能にする。
• 本手法は、画像アニメーションに微調整された事前学習済みのLatentVDMモデルを用い、効率性を高めるために潜在空間で動作する。
• 二重ストリーム設計により、意味的コンテキストとピクセルレベルの詳細の両方を補完的に活用し、より一貫性があり忠実な動画生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 動画拡散モデルは、視覚的詳細を保持しつつ、任意のオープンドメイン画像を効果的にアニメーション化するために適切に適合可能か？
• RQ2 画像とテキストの条件付けをどのように統合的に最適化すれば、妥当で意味的に整合した動きを生成できるか？
• RQ3 異なる画像インジェクション戦略が、動きの質と画像の適合性に与える影響は何か？
• RQ4 テキストプロンプトを用いて、特定の動きタイプ（例：踊り、手を振る）を画像アニメーションで制御可能か？
• RQ5 二重ストリームインジェクション機構は、単一ストリームや単純な画像インジェクションと比較して、視覚的忠実度と時間的整合性の面で優れているか？

主な発見

• Qualitative comparisonsとユーザースタディーの両方で、VideoComposer、I2VGen-XL、PikaLabs、Gen-2といった最先端手法と比較して、DynamiCrafterは優れた視覚的品質と動きの自然さを達成している。
• 本手法は、複雑なシーンでさえも最小限の歪みと強いローカル視覚的詳細の保持を維持し、高い画像忠実度を維持している。
• ユーザースタディーの結果、DynamiCrafterが生成するアニメーションは、ベースライン手法と比較して、動きの妥当性と画像適合性の両面で顕著に高い評価を受けている。
• 二重ストリームインジェクション機構は、単一ストリームベースラインと比較して、意味的動き生成と視覚的詳細保持のバランスをより良く実現している。
• s_imgとs_txtのガイドランススケールを調整することで、画像忠実度とプロンプト適合性の柔軟な制御が可能となり、テキストによる効果的な動き制御が実現できる。
• 曖昧な意味的解釈や複雑な動き記述の処理に限界を示すものの、顔や複雑なオブジェクトを含む多様なオープンドメイン画像において、強力な性能を発揮している。