[논문 리뷰] Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models

Simian Luo, Chuanhao Yan외 2명|arXiv (Cornell University)|2023. 06. 29.

Music and Audio Processing인용 수 7

한 줄 요약

Diff-Foley는 잠재 확산 모델(LDM) 기반의 비디오에서 오디오로의 합성 방법을 제안하며, 시간적 및 의미적으로 정렬된 특징을 학습하기 위해 대조적 오디오-비디오 사전학습(CAVP)을 활용함으로써 최신 기술 수준(SOTA) 성능을 달성한다. 이 특징들은 스펙트로그램 잠재공간에서 LDM를 조건화하는 데 사용된다. 이 방법은 분류기 자유(Guidance) 및 정렬 분류기 가이던스를 결합한 '더블 가이던스'를 도입하여 VGGSound에서 인ception 스코어(IS) 62.37을 기록하며, 이는 이전 작업인 SpecVQGAN(IS: 30.01)을 크게 능가한다.

ABSTRACT

The Video-to-Audio (V2A) model has recently gained attention for its practical application in generating audio directly from silent videos, particularly in video/film production. However, previous methods in V2A have limited generation quality in terms of temporal synchronization and audio-visual relevance. We present Diff-Foley, a synchronized Video-to-Audio synthesis method with a latent diffusion model (LDM) that generates high-quality audio with improved synchronization and audio-visual relevance. We adopt contrastive audio-visual pretraining (CAVP) to learn more temporally and semantically aligned features, then train an LDM with CAVP-aligned visual features on spectrogram latent space. The CAVP-aligned features enable LDM to capture the subtler audio-visual correlation via a cross-attention module. We further significantly improve sample quality with `double guidance'. Diff-Foley achieves state-of-the-art V2A performance on current large scale V2A dataset. Furthermore, we demonstrate Diff-Foley practical applicability and generalization capabilities via downstream finetuning. Project Page: see https://diff-foley.github.io/

연구 동기 및 목표

• 기존의 비디오에서 오디오(V2A) 생성 방법에서 시간적 동기화 부족과 오디오-비디오 관련성 부족 문제를 해결한다.
• 쌍체의 비디오-오디오 데이터를 기반으로 한 대조적 사전학습을 통해 미세한 오디오-비디오 상관관계를 학습함으로써 생성 품질을 향상시킨다.
• 의미적으로 정렬된 시각적 특징을 조건으로 삼아 잠재 확산 모델을 사용해 고해상도의 동기화된 오디오 생성을 가능하게 한다.
• 하류 작업에서의 미세조정을 통해 실용성과 일반화 능력을 입증한다.
• 이전 방법들이 약한 정렬 또는 오디오 정보가 없는 시각적 특징(예: RGB+Flow)에 의존하는 한계를 극복한다.

제안 방법

• 쌍체의 비디오-오디오 데이터로부터 시간적 및 의미적으로 정렬된 시각적 특징과 오디오 특징을 학습하기 위해 대조적 오디오-비디오 사전학습(CAVP)을 활용한다.
• CAVP로 정렬된 시각적 특징을 스펙트로그램 잠재공간 내에서 LDM의 조건으로 사용하여 개선된 오디오-비디오 정렬을 갖는 오디오 생성을 수행한다.
• 역방향 노이즈 제거 과정에서 분류기 자유 가이던스(CFG)와 정렬 분류기 가이던스(CG)를 동시에 적용하여 '더블 가이던스'를 도입함으로써 샘플 품질을 향상시킨다.
• Mel-스펙트로그램을 잠재공간으로 매핑하고 다시 복원하기 위해 고정된 Stable Diffusion V1.4 잠재 인코더 및 디코더를 활용하여 강력한 재구성 능력을 확보한다.
• Mel-스펙트로그램의 잠재공간에서 LDM을 훈련시키며, CAVP 특징을 맥락으로 사용하여 정밀한 시간 동기화를 갖는 오디오 생성을 유도한다.
• semantic 정밀도와 오디오-비디오 정렬을 균형 있게 조정하기 위해 분류기 자유 가이던스의 CFG 스케일 ω와 정렬 분류기 가이던스의 CG 스케일 γ를 사용한다.

실험 결과

연구 질문

• RQ1 대조적 오디오-비디오 사전학습은 비디오에서 오디오 생성에서 미세한 오디오-비디오 상관관계를 모델링하는 데 기여하는가?
• RQ2 CAVP로 정렬된 시각적 특징을 LDM의 조건으로 사용하면 시간적 동기화와 오디오-비디오 관련성 향상에 기여하는가?
• RQ3 분류기 자유 가이던스와 정렬 분류기 가이던스를 조합한 '더블 가이던스' 기법이 단일 가이던스 방법을 뛰어넘어 샘플 품질을 크게 향상시키는가?
• RQ4 사전 학습된 SD-V1.4 잠재 오토인코더가 오디오 생성을 위한 Mel-스펙트로그램의 고해상도 재구성에 얼마나 잘 기여하는가?
• RQ5 사전 학습된 Diff-Foley 모델이 하류 V2A 작업에서 효과적으로 미세조정 가능하여 일반화 능력과 실용적 유용성을 입증하는가?

주요 결과

• Diff-Foley는 VGGSound 데이터셋에서 최신 기술 수준의 인ception 스코어(IS) 62.37을 달성하며, 베이스라인인 SpecVQGAN(IS: 30.01)을 크게 능가한다.
• CAVP로 정렬된 시각적 특징을 사용함으로써 LDM는 더 미세한 오디오-비디오 상관관계를 포착할 수 있었으며, 이는 동기화와 의미적 관련성 향상에 기여했다.
• '더블 가이던스' 기법은 CFG에서 유도되는 견고한 노이즈 방향과 CG에서 유도되는 정밀 조정을 결합함으로써 샘플 품질을 향상시켰으며, 더 정확하고 현실적인 오디오 생성을 이끌어냈다.
• 고정된 SD-V1.4 잠재 인코더 및 디코더는 Mel-스펙트로그램에 대해 강력한 재구성 능력을 보였으며, 낮은 MSE(0.00264)와 KL 발산(1.44)을 기록했지만, FID(9.20)는 향상 여지가 있음을 시사했다.
• 시각화 결과는 고정된 오토인코더가 스펙트럼 세부 정보를 잘 유지함을 확인했으며, 이는 잠재공간 내에서 고품질 오디오 합성에 기여했다.
• 하류 작업에서의 미세조정 실험을 통해 모델의 실용성과 다양한 V2A 작업에 대한 일반화 잠재력이 입증되었다.