[論文レビュー] StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation

Yupeng Zhou, Daquan Zhou+3 more|arXiv (Cornell University)|May 2, 2024

Video Analysis and Summarization被引用数 4

ひとこと要約

本稿では、Consistent Self-Attentionを用いて一貫性のある画像および動画生成を実現する訓練不要な手法、StoryDiffusionを紹介する。この手法は、自己注意計算に参照画像からのトークンを組み込むことで、被写体のアイデンティティおよび服装の一貫性を向上させる。さらに、滑らかで安定した動画生成を実現するためのセマンティックモーション予測器を提案し、定量的指標およびユーザースタディーの両面で最先端手法を上回る性能を発揮する。

ABSTRACT

For recent diffusion-based generative models, maintaining consistent content across a series of generated images, especially those containing subjects and complex details, presents a significant challenge. In this paper, we propose a new way of self-attention calculation, termed Consistent Self-Attention, that significantly boosts the consistency between the generated images and augments prevalent pretrained diffusion-based text-to-image models in a zero-shot manner. To extend our method to long-range video generation, we further introduce a novel semantic space temporal motion prediction module, named Semantic Motion Predictor. It is trained to estimate the motion conditions between two provided images in the semantic spaces. This module converts the generated sequence of images into videos with smooth transitions and consistent subjects that are significantly more stable than the modules based on latent spaces only, especially in the context of long video generation. By merging these two novel components, our framework, referred to as StoryDiffusion, can describe a text-based story with consistent images or videos encompassing a rich variety of contents. The proposed StoryDiffusion encompasses pioneering explorations in visual story generation with the presentation of images and videos, which we hope could inspire more research from the aspect of architectural modifications. Our code is made publicly available at https://github.com/HVision-NKU/StoryDiffusion.

研究の動機と目的

• テキストから画像およびテキストから動画の拡散モデルにおいて、長時間にわたる生成画像および動画の間で被写体の一貫性（特にアイデンティティおよび服装）を維持する課題に対処すること。
• 微調整や大量のデータを必要とせず、軽量で訓練不要な手法を構築し、一貫性を向上させること。
• 滑らかな遷移を実現する一貫性のある長時間のビジュアル・ストーリーテリングを可能にするために、一貫性を動画生成に拡張すること。
• 拡散ベースの生成モデルにおける制御性および一貫性を向上させるためのアーキテクチャ的変更を検討すること。

提案手法

• 参照画像から抽出したトークンをキーマトリクスおよびバリューマトリクスに組み込むことで、自己注意を強化するプラグアンドプレイモジュール「Consistent Self-Attention」を導入。再訓練を回避するため、共有されたQ-K-V重みを用いる。
• 時間軸に沿ったスライディングウインドウ機構を採用することで、メモリ消費量を削減し、長時間のストーリー生成を可能にする。
• 2枚の画像間の動きをセマンティック空間で推定するセマンティックモーション予測器を提案し、安定的かつ一貫性のある動画遷移生成を実現する。
• 事前学習済みのモーションモジュールとConsistent Self-Attentionを組み合わせることで、視覚的一致性および時間的滑らかさが向上した動画生成を実現する。
• 追加の訓練を必要とせず、既存の事前学習済み拡散モデルに統合可能なゼロショット、推論時アプローチを採用する。
• プロンプトベースのストーリー分解戦略を採用し、各ストーリー断片を1枚の画像または動画フレームにマッピングすることで、一貫性のある生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 微細調整や追加の訓練を伴わずに、自己注意を変更することで、テキストから画像生成における画像間の一貫性を向上させることは可能か？
• RQ2 長時間にわたる生成画像および動画の間で、一貫した被写体のアイデンティティおよび服装をどのように維持できるか？
• RQ3 セマンティック空間における動き予測は、潜在空間ベースの動き予測よりも安定した動画遷移をもたらすか？
• RQ4 軽量でプラグアンドプレイ可能なモジュールが、最小限の計算オーバーヘッドで最先端の性能を達成できるか？
• RQ5 IP-Adapter や PhotoMaker といった既存の制御手法と比較して、本手法はユーザーライクスの一貫性および制御性においてどのように差をつけるか？

主な発見

• StoryDiffusionは、被写体一貫性のある画像生成において72.8%のユーザーライクススコアを達成し、IP-Adapter（10.4%）およびPhotoMaker（16.8%）を著しく上回った。
• 遷移動画生成において、StoryDiffusionは82%のユーザーライクススコアを達成し、SEINE（11.6%）およびSparseCtrl（6.4%）を上回った。
• 定量的評価では、StoryDiffusionはLPIPS-framesが0.1635、CLIPSIM-framesが0.9870を達成し、すべての4つの指標でSEINEおよびSparseCtrlを上回った。
• アブレーションスタディの結果、Consistent Self-Attentionにおけるサンプリングレート0.5が、一貫性と拡散プロセスへの最小限の干渉の両立において最適であることが確認された。
• 本手法は、PhotoMakerと組み合わせてもアイデンティティおよび服装を正確に保持でき、スケーラビリティおよびプラグアンドプレイ互換性を示した。
• セマンティックモーション予測器は、定量的指標および定性的なユーザーレビューの両方で、潜在空間ベースの手法よりも安定した動画を生成した。