[논문 리뷰] AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

Haohe Liu, Yi Yuan외 8명|arXiv (Cornell University)|2023. 08. 10.

Music and Audio Processing인용 수 5

한 줄 요약

AudioLDM 2는 텍스트-음성, 텍스트-음악, 텍스트-발화 생성을 위한 통합 프레임워크를 제안하며, 새로운 '음성의 언어'(LOA) 표현을 통해 공유된 학습 방법을 사용한다. 자율학습 기반의 AudioMAE 특징을 LOA로 활용하고, GPT-2 기반의 시퀀스 모델을 통해 잠재 확산 모델을 조건화함으로써, 문맥 기반 학습과 재사용 가능한 사전학습 구성 요소를 통해 다양한 음성 생성 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called "language of audio" (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate state-of-the-art or competitive performance against previous approaches. Our code, pretrained model, and demo are available at https://audioldm.github.io/audioldm2.

연구 동기 및 목표

• 음성, 음악, 사운드 효과 등 다양한 도메인에 특화된 인도적 편향이 필요 없이 통합된 음성 생성 프레임워크를 개발하는 것.
• 공유된 의미 표현을 통해 텍스트, 음성, 이미지, 영상 등 다양한 입력에 대해 민첩하게 조건화할 수 있도록 하는 것.
• 자율학습 사전학습과 문맥 기반 학습을 활용하여 생성 품질과 제어 가능성 향상.
• 특수한 작업 아키텍처 수정 없이도 텍스트-음성, 텍스트-음악, 텍스트-발화 작업 전반에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 프레임워크는 AudioMAE라는 자율학습 음성 표현 모델에서 유도된 벡터 시퀀스인 '음성의 언어'(LOA)를 도입한다.
• 다양한 조건 입력(텍스트, 음성, 이미지 등)을 LOA 시퀀스로 변환할 수 있도록 GPT-2 모델을 미세조정하여, 의미 인식 능력이 향상된 민첩한 조건화를 가능하게 한다.
• 잠재 확산 모델(LDM)은 LOA 시퀀스에 조건을 부여하여 대규모 비라벨 음성 데이터에 대한 자율학습 사전학습을 통해 고해상도 음성을 잠재 공간에서 생성한다.
• 텍스트와 음성 생성 간의 일치도를 향상시키기 위해 GPT-2 및 LDM 구성 요소를 공동으로 미세조정한다.
• FLAN-T5 및 CLAP 임베딩을 활용한 교차 attention 메커니즘을 도입하여 의미 조건화를 풍부화하고, 음성-텍스트 일치도를 향상시킨다.
• 실제 음성의 프리픽스를 문맥으로 사용함으로써 문맥 기반 학습을 구현하여, 모델이 화자 스타일과 음향적 맥락을 반영한 음성을 생성할 수 있도록 한다.

Figure 1: The overview of the AudioLDM 2 architecture. The AudioMAE feature is a proxy that bridges the conditioning information to LOA translation stage (modelled by GPT-2) and the LOA to audio generation stage (modelled by the latent diffusion model). The probabilistic switcher controls the probab

실험 결과

연구 질문

• RQ1 음성, 음악, 사운드 효과에 대해 작업 전용 인도적 편향이 없이도 통합된 음성 생성 프레임워크를 구축할 수 있는가?
• RQ2 공유된 자율학습 기반 음성 표현(LOA)이 다양한 음성 생성 작업을 효과적으로 지원할 수 있는가?
• RQ3 GPT-2가 생성한 LOA 시퀀스에 기반해 잠재 확산 모델을 조건화하면 생성 품질과 제어 가능성 향상이 이루어지는가?
• RQ4 문맥 기반 학습이 음성 생성의 정밀도와 스타일 일관성에 어느 정도 기여하는가?
• RQ5 다양한 조건화 구성 요소(CLAP, FLAN-T5, 교차 attention)가 음성-텍스트 일치도 및 생성 품질에 기여하는 정도는 어떠한가?

주요 결과

• AudioLDM 2는 AudioCaps 데이터셋에서 FAD 1.67의 최신 기술 수준 성능을 달성하여 이전 방법들을 크게 앞서며 뛰어난 성능을 보였다.
• 사전학습 없이도 MOS 3.65를 기록했으며, 이는 기준 모델인 FastSpeech2의 MOS 3.78과 유사한 수준이었다.
• 제거 실험 결과, GPT-2와 LDM의 공동 미세조정이 모든 지표를 향상시키며, 공동 학습을 제거할 경우 FAD가 2.24로 증가함을 확인했다.
• T-UNet에서 FLAN-T5 교차 attention 메커니즘을 제거하면 KL 발산이 1.01에서 1.30으로 20% 증가하여 음성 품질이 떨어지는 것으로 나타났다.
• CLAP만을 입력으로 사용할 경우 CLAP 점수는 25.0으로 略도 상승하여 평가 지표에 직접적으로 대응함으로써 성능 향상이 이루어지는 것으로 나타났다.
• 문맥 기반 학습을 통해 일관된 화자 스타일 전이가 가능했으며, 모델은 텍스트 설명과 제공된 음성 맥락 모두를 반영한 음성을 생성했다.

Figure 2: The influence of $\lambda$ on audio reconstruction from LOA $Y_{\lambda}$ . The reconstruction closely resembles the ground truth when $\lambda=1$ , suggesting that $Y_{\lambda=1}$ retains sufficient audio details. However, with $\lambda=2~{}\text{or}~{}4$ , the reconstruction diverges sli