[논문 리뷰] Real-Time Video Generation with Pyramid Attention Broadcast

Xinrong Zhao, Xiaolong Jin외 2명|arXiv (Cornell University)|2024. 08. 22.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 DiT 기반 모델을 위한 훈련 불필요, 실시간 영상 생성 방법인 피라미드 주의 방송(Pyramid Attention Broadcast, PAB)을 제안한다. PAB는 분산 분석 기반의 피라미드 전략을 통해 주의 헤드 간의 분산을 기반으로 주의 출력을 확산시켜 주의 중복을 줄인다. PAB는 Open-Sora, Open-Sora-Plan 및 Latte 모델에서 품질 저하 없이 10.5배의 속도 향상을 이끌어내며, 720p 영상 생성 시 최대 20.6 FPS를 달성한다.

ABSTRACT

We present Pyramid Attention Broadcast (PAB), a real-time, high quality and training-free approach for DiT-based video generation. Our method is founded on the observation that attention difference in the diffusion process exhibits a U-shaped pattern, indicating significant redundancy. We mitigate this by broadcasting attention outputs to subsequent steps in a pyramid style. It applies different broadcast strategies to each attention based on their variance for best efficiency. We further introduce broadcast sequence parallel for more efficient distributed inference. PAB demonstrates up to 10.5x speedup across three models compared to baselines, achieving real-time generation for up to 720p videos. We anticipate that our simple yet effective method will serve as a robust baseline and facilitate future research and application for video generation.

연구 동기 및 목표

• 고품질 출력에도 불구하고 실용적 배포에 제약을 주는 DiT 기반 영상 확산 모델의 높은 추론 지연을 해결한다.
• 특히 복잡한 시공간적 의존성을 가지는 영상 생성에서 주의 계산의 비효율성을 극복한다.
• 재훈련 없이도 다양한 DiT 기반 영상 모델에서 품질을 유지하면서 훈련 불필요 가속화 방법을 개발한다.
• 모델 아키텍처나 분포 변화 없이 고해상도(최대 720p) 영상 생성에서 실시간 추론(≥20 FPS)을 가능하게 한다.
• 향후 DiT 기반 영상 모델에 적용 가능한 확장성 있고 일반화된 가속화 프레임워크를 설계한다.

제안 방법

• U자형 주의 차이 패턴을 활용해 주의 출력을 확산시켜 다양한 확산 단계에서 재사용하는 훈련 불필요 방법인 피라미드 주의 방송(PAB)을 제안한다.
• 주의 유형(공간, 시간, 교차)에 따라 분산 기반으로 다른 방송 범위를 적용하여 피라미드 전략을 형성한다. 공간 주의는 가장 넓은 범위로, 교차 주의는 가장 좁은 범위로 설정된다.
• 분산 추론에서 통신 비용을 줄이기 위해 방송 순서 병렬 처리를 도입하여 효율적인 다중 GPU 배포를 가능하게 한다.
• 연속된 단계 간 주의 출력의 평균 제곱 오차(MSE)를 사용해 방송 전략 선택을 정량화하고 안내한다.
• 주의 레이어를 넘어서 MLP 레이어와 확산 단계까지도 방송 메커니즘을 확장하여 전체 효율성을 향상시킨다.
• 모델 아키텍처 수정 없이 기존 DiT 기반 영상 모델(예: Open-Sora, Latte)에 PAB를 통합하며 재훈련이 필요 없다.

실험 결과

연구 질문

• RQ1 DiT 기반 영상 확산 모델에서 주의 중복을 효과적으로 활용해 품질 손실 없이 추론 속도를 향상시킬 수 있는가?
• RQ2 확산 단계에 걸쳐 주의 차이의 U자형 패턴이 구조적이고 분산 기반의 방송 전략을 가능하게 하는가?
• RQ3 주의 유형(공간, 시간, 교차)에 맞게 조정된 피라미드 전략은 균일하거나 고정 범위의 방송 방법보다 우수한가?
• RQ4 방송 순서 병렬 처리는 영상 생성의 분산 추론에서 통신 오버헤드를 얼마나 효과적으로 줄이는가?
• RQ5 PAB는 여러 최첨단 DiT 기반 영상 모델에서 고해상도(720p) 영상 생성에 대해 실시간 추론(≥20 FPS)을 달성할 수 있는가?

주요 결과

• PAB는 Open-Sora, Open-Sora-Plan 및 Latte와 같은 세 가지 주요 DiT 기반 영상 모델에서 추론 시간을 최대 10.5배 빠르게 한다.
• 720p 영상 생성에서 20.6 FPS의 실시간 영상 생성을 가능하게 하며, H100 GPU에서 측정된 지연 시간이 확인되었다.
• 주의 차이의 U자형 패턴은 실험적으로 검증되었으며, 확산 단계의 중간 70%에서 변화가 최소한이었다.
• 주의 분산 기반의 방송 전략은 효율성을 향상시킨다: 공간 주의(가장 변동성이 높음)는 넓은 범위로, 교차 주의(가장 안정됨)는 좁은 범위로 설정된다.
• 방송 순서 병렬 처리는 분산 추론에서 통신 비용을 줄여 스케일러블하고 효율적인 다중 GPU 배포를 가능하게 한다.
• PAB는 미세조정이나 재훈련 없이도 원래의 생성 품질을 유지하여 다양한 모델에서의 일반화 및 강건성을 입증한다.