[논문 리뷰] Open-Sora: Democratizing Efficient Video Production for All

Z. Zheng, Xiangyu Peng외 7명|arXiv (Cornell University)|2024. 12. 29.

Urban Planning and Valuation인용 수 10

한 줄 요약

Open-Sora는 텍스트-이미지, 텍스트-비디오, 이미지-비디오 작업을 지원하는 diffusion 기반의 오픈 소스 비디오 생성 모델로, Spatial-Temporal Diffusion Transformer와 컴팩트한 3D 자동인코더를 사용하여 720p에서 최대 16초까지 달성합니다.

ABSTRACT

Vision and language are the two foundational senses for humans, and they build up our cognitive ability and intelligence. While significant breakthroughs have been made in AI language ability, artificial visual intelligence, especially the ability to generate and simulate the world we see, is far lagging behind. To facilitate the development and accessibility of artificial visual intelligence, we created Open-Sora, an open-source video generation model designed to produce high-fidelity video content. Open-Sora supports a wide spectrum of visual generation tasks, including text-to-image generation, text-to-video generation, and image-to-video generation. The model leverages advanced deep learning architectures and training/inference techniques to enable flexible video synthesis, which could generate video content of up to 15 seconds, up to 720p resolution, and arbitrary aspect ratios. Specifically, we introduce Spatial-Temporal Diffusion Transformer (STDiT), an efficient diffusion framework for videos that decouples spatial and temporal attention. We also introduce a highly compressive 3D autoencoder to make representations compact and further accelerate training with an ad hoc training strategy. Through this initiative, we aim to foster innovation, creativity, and inclusivity within the community of AI content creation. By embracing the open-source principle, Open-Sora democratizes full access to all the training/inference/data preparation codes as well as model weights. All resources are publicly available at: https://github.com/hpcaitech/Open-Sora.

연구 동기 및 목표

• 고품질 비디오 생성에 대한 접근성을 민주화하기 위해 학습 코드, 데이터 처리 파이프라인, 모델 가중치를 제공한다.
• Sora에서 영감을 받은 기법을 재현하고 확장하여 제어 가능한 비디오 합성을 가능하게 한다.
• 훈련/추론 비용을 줄이기 위한 효율적 아키텍처(STDiT)와 압축 전략을 개발한다.
• 다중 해상도와 다종종 영상 비율의 비디오 생성을 지원하여 다운스트림 태스크에 대한 유연성을 극대화한다.]
• methodEquivalentCopyReward?
• method मोट?

제안 방법

• 공간-시간 주의력을 분리하는 Spatial-Temporal Diffusion Transformer(STDiT)를 도입한다.
• 2D VAE에서 시작해 템포럴 충실성을 유지하기 위해 4x 시간 축소를 수행하는 비디오 데이터를 압축하는 3D 오토인코더를 사용한다.
• 사전 학습된 이미지 생성 모델(PixArt-α)에서 초기화하고, 시간 주의력에 제로 초기화된 프로젝션을 추가한다.
• Half-precision 훈련의 안정성을 높이기 위해 RoPE를 시간 주의력에 적용하고 QK 정규화를 사용한다.
• 이미지/비디오 조건화에 대한 마스킹 기반 컨디셔닝 전략을 적용하고, 캡션에 미적감, 모션, 카메라 모션의 컨디셔닝 점수를 부가한다.
• 다양한 해상도와 종횡비를 효율적으로 다루기 위해 버킷 기반 다중 해상도 학습 스킴을 채택한다.
• 비용과 성능의 균형을 맞추기 위해 점진적으로 향상된 품질의 데이터셋과 해상도에서 다단계 학습 커리큘럼을 수행한다.]
• research_questions: ["Open-Sora가 오픈 소스 확산 기반 비디오 생성 기법을 재현하고 확장하여 720p에서 최대 16초의 고품질 비디오를 생성할 수 있는가?","오픈 소스 비디오 확산 모델의 품질, 속도, 자원 사용 사이의 균형을 가장 잘 맞추는 아키텍처 및 훈련 전략은 무엇인가?","컨디셔닝 신호(미적, 모션, 카메라 모션)가 텍스트-비디오 생성의 제어 가능성을 어떻게 향상시키는가?","다양한 해상도와 비율에서 유연한 비디오 생성을 가능하게 하는 데이터 전처리 및 다중 해상도 전략은 무엇인가?"]
• key_findings: ["Open-Sora는 VBench에서 오픈 소스 비디오 생성의 최첨단 성능을 달성하며 여러 베이스라인을 총합, 품질 및 의미 점수에서 상회한다.","Open-Sora 버전 1.2는 VBench에서 총 점수 79.76, 품질 81.35, 의미 점수 73.39를 달성했다.","VBench에서 비교된 모델로는 CogVideo(총 67.01), Latte(총 77.29), LaVie(총 77.08), Show-1(총 78.93) 및 다수의 Open-Sora 플랜 변형이 있다.","버킷 기반 다중 해상도 학습 전략은 계산 효율성과 다양한 비디오 포맷 간의 균형을 효과적으로 달성한다.","3D 오토인코더의 4x 시간 축소는 FPS를 유지하면서 훈련/추론 비용을 감소시키고 품질을 유지한다."]
• table_headers: ["모델","총 점수 (%)","품질 점수 (%)","의미론적 점수 (%)"]
• table_rows: [["CogVideo","67.01","72.06","46.83"],["Latte","77.29","79.72","67.58"],["LaVie","77.08","78.78","70.31"],["Show-1","78.93","80.42","72.98"],["OpenSoraPlan V1.1","78.00","80.91","66.38"],["OpenSoraPlan V1.2","75.98","81.51","53.88"],["OpenSoraPlan V1.3","77.23","80.14","65.62"],["Open-Sora 1.0","75.91","78.82","64.28"],["Open-Sora 1.1","75.66","77.74","67.36"],["Open-Sora 1.2","79.76","81.35","73.39"]]} } // Note: The last line includes a stray

실험 결과

연구 질문

• RQ1 2-5 etc

주요 결과

• title
• tldr
• meta_description
• objective
• method
• research_questions
• key_findings
• table_headers
• table_rows