[論文レビュー] Real-Time Video Generation with Pyramid Attention Broadcast

Xinrong Zhao, Xiaolong Jin+2 more|arXiv (Cornell University)|Aug 22, 2024

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、分散型の自己注意機構の分散度に基づくピラミッド型戦略を用いて、注意計算の冗長性を低減することで、トレーニング不要でリアルタイムな動画生成が可能なDiTベースのモデル向けに、Pyramid Attention Broadcast (PAB) を提案する。PABは、Open-Sora、Open-Sora-Plan、Latteモデルにおいて、品質に劣化を来さず、10.5倍の高速化を達成し、720p動画生成で最大20.6 FPSを実現する。

ABSTRACT

We present Pyramid Attention Broadcast (PAB), a real-time, high quality and training-free approach for DiT-based video generation. Our method is founded on the observation that attention difference in the diffusion process exhibits a U-shaped pattern, indicating significant redundancy. We mitigate this by broadcasting attention outputs to subsequent steps in a pyramid style. It applies different broadcast strategies to each attention based on their variance for best efficiency. We further introduce broadcast sequence parallel for more efficient distributed inference. PAB demonstrates up to 10.5x speedup across three models compared to baselines, achieving real-time generation for up to 720p videos. We anticipate that our simple yet effective method will serve as a robust baseline and facilitate future research and application for video generation.

研究の動機と目的

• 高品質な出力を得られても実用的導入が制限されるほど、DiTベースの動画拡散モデルにおける推論遅延の低減を目的とする。
• とくに複雑な時空間的依存関係を有する動画生成において顕著な注意計算の非効率性を克服することを目的とする。
• 再トレーニングを伴わず、多様なDiTベースの動画モデルにおいても生成品質を維持するトレーニング不要な高速化手法の開発を目的とする。
• アーキテクチャ的・分布的変更なしに、高解像度（最大720p）の動画生成においてリアルタイム推論（≥20 FPS）を実現することを目的とする。
• 将来のDiTベースの動画モデルに対しても再トレーニングなしに適用可能なスケーラブルで汎用的な高速化フレームワークの設計を目的とする。

提案手法

• U字型の注意差のパターンを活用して、複数の拡散ステップ間で注意出力を再利用するトレーニング不要な手法、Pyramid Attention Broadcast (PAB) を提案する。
• 空間的、時間的、クロス注意ヘッドごとに分散度に応じた異なる配信範図を適用し、空間的注意が最も広範囲、クロス注意が最も狭い範囲となるピラミッド戦略を構築する。
• 分散推論における通信コストを低減するため、配信シーケンス並列化を導入し、効率的なマルチGPUデプロイメントを実現する。
• 連続するステップ間の注意出力の平均二乗誤差（MSE）を用いて、配信戦略選定の定量的指標とガイドラインを提示する。
• 注意層にとどまらず、MLP層および拡散ステップ全体にわたる配信メカニズムを拡張し、全体の効率性を向上させる。
• モデルアーキテクチャの変更や再トレーニングを要せず、既存のDiTベースの動画モデル（例：Open-Sora、Latte）にPABを統合する。

実験結果

リサーチクエスチョン

• RQ1 DiTベースの動画拡散モデルにおける注意冗長性は、品質損なわずに推論を高速化するために効果的に活用可能か？
• RQ2 拡散ステップにわたる注意差のU字型パターンは、最適な効率性を実現するための構造的で分散度に基づく配信戦略を可能にするか？
• RQ3 注意タイプ（空間的、時間的、クロス）に応じて最適化されたピラミッド型配信戦略は、均一的または固定範囲の配信手法を上回る効果を示すか？
• RQ4 配信シーケンス並列化は、動画生成における分散推論における通信オーバーヘッドを効果的に低減できるか？
• RQ5 PABは、複数の最先端のDiTベースの動画モデルにおいて、リアルタイム推論（≥20 FPS）を720p動画生成で達成できるか？

主な発見

• PABは、Open-Sora、Open-Sora-Plan、Latteの3つの先端的DiTベースの動画モデルにおいて、最大10.5倍の推論時間高速化を達成した。
• 720p動画生成において20.6 FPSのリアルタイム動画生成が可能であり、H100 GPU上で測定された遅延が確認された。
• 注意差のU字型パターンは実証的に裏付けられ、拡散ステップの中間70％で変化が最小限に抑えられている。
• 注意分散に基づく配信は効率性を向上させる：空間的注意（最も変動が大きい）は広範囲、クロス注意（最も安定）は狭範囲の配信が有効である。
• 配信シーケンス並列化により、分散推論における通信コストが低減され、スケーラブルかつ効率的なマルチGPUデプロイメントが実現された。
• PABは微調整や再トレーニングなしに元の生成品質を維持しており、多様なモデルにわたる汎用性と頑健性を示している。