[論文レビュー] AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data

Fuyun Wang, Zhaoyang Huang+6 more|arXiv (Cornell University)|Feb 1, 2024

Human Motion and Animation被引用数 4

ひとこと要約

AnimateLCM は、画像と運動の事前知識を別々に蒸留する分離型一貫性学習戦略を採用することで、わずか 4 ステップの推論で高精細なパーソナライズド動画生成を高速化する。最小限のステップで最先端の結果を達成し、速度損失なしにプラグアンドプレイ型アダプタをサポートし、多様なスタイルに対応するパーソナライズド画像拡散重みとも互換性がある。

ABSTRACT

This paper introduces an effective method for computation-efficient personalized style video generation without requiring access to any personalized video data. It reduces the necessary generation time of similarly sized video diffusion models from 25 seconds to around 1 second while maintaining the same level of performance. The method's effectiveness lies in its dual-level decoupling learning approach: 1) separating the learning of video style from video generation acceleration, which allows for personalized style video generation without any personalized style video data, and 2) separating the acceleration of image generation from the acceleration of video motion generation, enhancing training efficiency and mitigating the negative effects of low-quality video data.

研究の動機と目的

• 拡散モデルにおける動画生成を高速化しながらも、高い視覚的品質を維持すること。
• 動画拡散における反復的ノイズ除去の高い計算コストを解消し、最小限のステップで推論を可能にすること。
• パーソナライズド画像拡散モデルおよびコミュニティが開発したアダプタと互換性を持たせつつ、速度や品質を損なわないこと。
• 画像と運動の事前知識を分離して蒸留することで、効率性と生成品質を向上させる訓練戦略の開発。

提案手法

• まず高品質な画像データセットから画像生成事前知識を蒸留し、その後動画データから運動事前知識を蒸留する、分離型一貫性学習戦略を提案する。
• 画像および画像一貫性モデルに 3D 種子化を適用して動画生成へ拡張し、特徴の損傷を低減する特別に設計された初期化を実施する。
• 分類子フリー整合化を補完する確率フロー ODE の解を予測することで、潜在空間に動画一貫性モデルを訓練する。
• 教師モデルを必要としないアダプタ適合戦略を導入し、既存のアダプタ（例：ControlNet、T2I-Adapter）を直接統合するか、教師なしで再訓練可能にする。
• 事前学習済みの Stable Diffusion 重みを活用し、空間的重みをパーソナライズド画像拡散モデルに容易に置き換えることでスタイル転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像と運動の事前知識の間で一貫性学習を効果的に分離することで、動画拡散における訓練効率と生成品質を向上させられるか？
• RQ2 既存のコミュニティアダプタを蒸留済みの動画一貫性モデルに統合する際、推論速度を低下させずに適応可能か？
• RQ3 パーソナライズド画像拡散重みを直接動画一貫性モデルに使用することで、高精細かつスタイル一貫性のある動画生成が可能か？
• RQ4 提案手法は、ベースライン拡散モデルと比較して、低ステップ推論環境下でも優れた性能を発揮するか？

主な発見

• AnimateLCM は FVD および CLIPSIM メトリクスにおいて最先端の性能を達成し、特に 1〜4 ステップの推論環境下で顕著な優位性を示しており、分類子フリー整合化（CFG）なしでもベースラインを上回る。
• 分離型一貫性学習戦略は、訓練収束性と最終的な生成品質を顕著に向上させ、定量的アブレーションにおいて「w/o decouple」と「w/o init」の両ベースラインを上回る。
• 教師なしアダプタ適合戦略により、T2I-Adapter を用いた安定的かつ高品質な制御生成が可能となり、直接的なアダプタ使用と比較してフレイクイングを低減し、制御精度を向上させる。
• 空間的重みをパーソナライズドでリアルなスタイルのモデル（Realistic Vision V5.0）に置き換えることで、視覚的品質と動きのなめらかさが向上し、パーソナライズドモデルとの強い互換性を示す。
• 7.5 の CFG 強度を使用するベースラインと比較して、推論時間とピークメモリコストをそれぞれ 50% 減少させた。これは、評価時における CFG の不要性に起因する。