[논문 리뷰] Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation

Ye Zhu, Yu Wu외 4명|arXiv (Cornell University)|2022. 06. 15.

Music and Audio Processing인용 수 10

한 줄 요약

이 논문은 조건부 이산 대비 확산(Conditional Discrete Contrastive Diffusion, CDCD)을 제안하며, 대비 학습 목표를 통해 상호정보량을 최대화함으로써 교차모달 확산 모델에서 입력-출력 대응을 명시적으로 향상시키는 새로운 방법을 제시한다. 노이즈 제거 확산과 대비 손실을 통합함으로써 CDCD는 생성 품질을 향상시키고, 필요한 확산 단계를 35% 이상 줄이며, 음악-오디오 및 이미지 생성 작업에서 최고 수준 또는 경쟁력 있는 성능을 달성하면서 더 강한 교차모달 정렬을 실현한다.

ABSTRACT

Diffusion probabilistic models (DPMs) have become a popular approach to conditional generation, due to their promising results and support for cross-modal synthesis. A key desideratum in conditional synthesis is to achieve high correspondence between the conditioning input and generated output. Most existing methods learn such relationships implicitly, by incorporating the prior into the variational lower bound. In this work, we take a different route -- we explicitly enhance input-output connections by maximizing their mutual information. To this end, we introduce a Conditional Discrete Contrastive Diffusion (CDCD) loss and design two contrastive diffusion mechanisms to effectively incorporate it into the denoising process, combining the diffusion training and contrastive learning for the first time by connecting it with the conventional variational objectives. We demonstrate the efficacy of our approach in evaluations with diverse multimodal conditional synthesis tasks: dance-to-music generation, text-to-image synthesis, as well as class-conditioned image synthesis. On each, we enhance the input-output correspondence and achieve higher or competitive general synthesis quality. Furthermore, the proposed approach improves the convergence of diffusion models, reducing the number of required diffusion steps by more than 35% on two benchmarks, significantly increasing the inference speed.

연구 동기 및 목표

• 조건부 확산 모델에서 입력-출력 대응이 명시적으로 부족하여 조건부 입력과 생성 출력 간의 정렬이 약해지는 문제를 해결하기 위해.
• 조건부 입력과 생성 출력 간의 상호정보량을 명시적으로 최대화하여 교차모달 생성의 충실도를 향상시키기 위해.
• 대비 학습을 확산 모델링과 통합하여 학습 안정성과 추론 효율성을 모두 향상시키는 방식으로.
• 텍스트-이미지, 클래스 조건부, 댄스-음악 생성과 같은 다양한 조건부 합성 작업에서 CDCD의 효과성을 입증하기 위해.

제안 방법

• 조건부 입력과 생성 출력 간의 상호정보량을 명시적으로 최대화하는 조건부 이산 대비 확산(CDCD) 손실을 제안한다.
• CDCD 손실을 노이즈 제거 과정에 효과적으로 통합하기 위해 단계별 병렬 확산 및 샘플별 보조 확산이라는 두 가지 대비 확산 기법을 설계한다.
• CDCD 손실을 기존의 변분 하한 목표와 결합하여 학습 중 두 목표를 함께 최적화할 수 있도록 한다.
• 비순서적 및 인스턴스 수준의 음성 샘플을 제공함으로써 대비 학습을 향상시키기 위해 내부 및 외부 음성 샘플링 전략을 도입한다.
• 분류기 자유 가이던스를 영감으로 삼아, 다운샘플된 대비 단계 전략을 적용하여 계산 비용을 줄이면서도 성능를 유지한다.
• 청각적 품질이 주요 초점은 아니지만, 고해상도 오디오 출력에 노이즈 제거를 적용하여 청각적 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 상호정보량 최대화가 조건부 확산 모델에서 교차모달 생성을 위한 입력-출력 대응을 향상시킬 수 있는가?
• RQ2 대비 학습을 확산 학습과 통합할 경우 수렴 속도와 추론 효율성에 어떤 영향을 미치는가?
• RQ3 CDCD는 텍스트-이미지 및 댄스-음악 생성과 같은 다양한 교차모달 작업에서 생성 품질과 정렬을 어느 정도 향상시키는가?
• RQ4 대비 손실 강도(λ)와 샘플링 전략이 모델 성능과 학습 안정성에 어떤 영향을 미치는가?
• RQ5 CDCD 프레임워크는 다양한 모odal에서 연속적 및 이산적 조건부 입력에 효과적으로 적용될 수 있는가?

주요 결과

• CDCD는 두 벤치마크에서 필요한 확산 단계 수를 35% 이상 줄여 추론 속도를 크게 향상시키면서도 품질을 손상시키지 않는다.
• 댄스-음악, 텍스트-이미지, 클래스 조건부 이미지 합성의 세 가지 작업에서 최고 수준 또는 경쟁력 있는 성능을 달성한다.
• 댄스-음악 생성에서 비트 정렬 점수는 커버리지 93.9%와 히트율 90.7%를 기록하여 강력한 교차모달 대응을 입증한다.
• 절단 실험 결과 λ = 5e-5가 성능과 학습 안정성 간의 균형을 잘 맞추며, 하이퍼파ram터 변화에 대해 최소한의 민감도를 보인다.
• 다운샘플된 대비 단계는 성능에 미미한 하락(예: Tc=80일 때 커버리지 93.4% vs. Tc=100일 때 93.9%)을 보이며 계산 비용을 줄여 효율성 향상을 확인한다.
• CDCD 손실은 효과적인 보조 정규화 요소로 작용하여 다양한 조건부 생성 작업에서 모델 수렴과 일반화 능력을 향상시킨다.