[論文レビュー] WorldGPT: A Sora-Inspired Video AI Agent as Rich World Models from Text and Image Inputs

Deshun Yang, Luhui Hu+6 more|arXiv (Cornell University)|Mar 10, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

WorldGPT は、テキストおよび画像入力を用いて高品質で時間的に一貫性のある動画を生成する Sora にインspired された動画AIエージェントを提案する。二段階のパイプラインを採用：GPTを用いたプロンプト強化モジュールで指示の精緻化を実現し、キーフレームを活用した拡散型動画生成モジュールで運動のなめらかさを向上。本手法は、テキスト-動画アライメント、時間的整合性、運動品質の面で最先端の性能を達成し、人間評価において DynamiCrafter や I2VGen-XL を上回った。

ABSTRACT

Several text-to-video diffusion models have demonstrated commendable capabilities in synthesizing high-quality video content. However, it remains a formidable challenge pertaining to maintaining temporal consistency and ensuring action smoothness throughout the generated sequences. In this paper, we present an innovative video generation AI agent that harnesses the power of Sora-inspired multimodal learning to build skilled world models framework based on textual prompts and accompanying images. The framework includes two parts: prompt enhancer and full video translation. The first part employs the capabilities of ChatGPT to meticulously distill and proactively construct precise prompts for each subsequent step, thereby guaranteeing the utmost accuracy in prompt communication and accurate execution in following model operations. The second part employ compatible with existing advanced diffusion techniques to expansively generate and refine the key frame at the conclusion of a video. Then we can expertly harness the power of leading and trailing key frames to craft videos with enhanced temporal consistency and action smoothness. The experimental results confirm that our method has strong effectiveness and novelty in constructing world models from text and image inputs over the other methods.

研究の動機と目的

• テキストから動画を生成する際の時間的整合性と動作のなめらかさを維持する課題に対処すること。
• テキストおよび画像のマルチモodal入力を統合されたワールドモデルフレームワークに組み込むことで、動画生成品質を向上させること。
• 動画生成をガイドする、GPT最適化済みの精緻なプロンプトを用いたユーザーの制御性を向上させること。
• 既存の高度な拡散モデルを活用したパイプラインを構築し、高精細な動画合成と向上した空間時間的整合性を実現すること。
• ゼロショットベンチマークおよび人間の好みの研究を用いて評価し、アライメントおよび運動品質の面で優位性を示すこと。

提案手法

• フレームワークは二段階のパイプラインを採用：GPTを用いたプロンプト強化モジュールが、動画生成のための正確なテキスト指示を精緻化・事前に構築する。
• 動画翻訳全体の段階では、開始および終了のキーフレームを生成・精緻化するため、互換性のある拡散技術が用いられる。
• 時間的整合性は、先行および後続のキーフレームを活用して中間フレームの生成をガイドすることで向上する。
• 動的シーンモデリングとマルチモーダル統合を統合し、動画コンテンツをテキスト記述および入力画像と整合させる。
• 空間時間的整合性を保証するため、光学フロー（F）および外観変化フィールド（B）を用いて、生成フレームと正解との差を最小化する損失関数を適用する。
• AIGCBenchベンチマークおよび人間の好みの研究を用いて、DynamiCrafter や I2VGen-XL と比較して評価される。

実験結果

リサーチクエスチョン

• RQ1 GPT強化プロンプト生成戦略は、動画生成におけるテキスト-動画アライメントを顕著に改善できるか？
• RQ2 キーフレームベースの拡散モデリングは、生成動画の時間的整合性および運動のなめらかさをどの程度効果的に向上できるか？
• RQ3 テキストおよび画像入力のマルチモーダル統合は、動画生成の制御性および多様性をどの程度向上させるか？
• RQ4 本手法は、SOTAモデル（DynamiCrafter や I2VGen-XL）と比較して、ゼロショット動画生成ベンチマークで優れた性能を示すか？
• RQ5 人間評価において、動画品質、運動のリアリズム、アライメントの観点で、ユーザーの好みはどのように評価されるか？

主な発見

• WorldGPT は AIGCBench で GenVideo-Text Clip スコア 0.307 を達成し、DynamiCrafter（0.24）および I2VGen-XL（0.26）を上回った。
• 時間的整合性スコアは GenVideo Clip メトリックで 0.992 を記録し、DynamiCrafter（0.980）および I2VGen-XL（0.960）を上回った。
• 人間評価では、66.8% の参加者が DynamiCrafter よりも WorldGPT の運動品質を好んだ一方、68.7% が I2VGen-XL よりも WorldGPT のテキスト-動画アライメントを好んだ。
• WorldGPT は、分布外の複雑なテキストプロンプトを処理する能力に優れ、入力画像に存在しない新しいシーン記述をより正確に反映する動画を生成した。
• DOVER スコアは 0.521 で、フレームレベルの品質が優れており、GenVideo-RefVideo SSIM は 0.374 で、参照動画とのアライメントが向上した。
• 定性的な結果から、WorldGPT は特にプロンプトが入力画像から著しく逸脱する場合でも、意味的差をより正確に捉えていることが確認された。これに対して DynamiCrafter はしばしば同一の出力を生成する傾向にあった。