[論文レビュー] AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

Haohe Liu, Yi Yuan+8 more|arXiv (Cornell University)|Aug 10, 2023

Music and Audio Processing被引用数 5

ひとこと要約

AudioLDM 2 は、独自の '音声の言語' (LOA) 表現を介して、一様な学習手法を用いてテキストから音声、音楽、音声を生成する統合フレームワークを提案する。LOA として自己教師付き AudioMAE 特徴を活用し、GPT-2 ベースの系列モデルによる潜在拡散モデルの条件付けを通じて、文脈内学習と再利用可能な事前学習コンponent を用いて、複数の音声生成ベンチマークで最先端の性能を達成する。

ABSTRACT

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called "language of audio" (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate state-of-the-art or competitive performance against previous approaches. Our code, pretrained model, and demo are available at https://audioldm.github.io/audioldm2.

研究の動機と目的

• 音声、音楽、サウンドエフェクトの分野に特化したインダクティブバイアスを必要としない統合音声生成フレームワークの開発。
• テキスト、音声、画像、動画など多様な入力を共通の意味的表現を介して柔軟に条件づけることの実現。
• 自己教師付き事前学習と文脈内学習を活用することで、生成品質と制御性の向上。
• タスク固有のアーキテクチャ変更なしに、テキストから音声、音楽、音声への変換タスクで最先端の性能を示すこと。

提案手法

• フレームワークは、多様な音声データで事前学習された自己教師付き音声表現モデルである AudioMAE から得られるベクトルの系列である '音声の言語' (LOA) を導入する。
• GPT-2 モデルを微調整し、テキスト、音声、画像などの多様な条件入力を LOA 系列に変換することで、柔軟かつ意味的認識に基づいた条件づけを可能にする。
• LOA 系列に条件づけられた潜在拡散モデル (LDM) が、大規模なラベルなし音声データでの自己教師付き事前学習を経て、高精細な音声を潜在空間で生成する。
• テキストと音声生成の整合性を高めるために、GPT-2 と LDM のコンponent を共同で微調整する。
• FLAN-T5 と CLAP 嵪合のメカニズムを統合することで、意味的条件づけを強化し、音声-テキストの整合性を向上させる。
• 実際の音声のプレフィックスを文脈として用いることで、文脈内学習を実現し、話者の声の特徴や音響的文脈に一致する音声生成を可能にする。

Figure 1: The overview of the AudioLDM 2 architecture. The AudioMAE feature is a proxy that bridges the conditioning information to LOA translation stage (modelled by GPT-2) and the LOA to audio generation stage (modelled by the latent diffusion model). The probabilistic switcher controls the probab

実験結果

リサーチクエスチョン

• RQ1 音声、音楽、サウンドエフェクトの分野に特化したインダクティブバイアスを一切含まずに、統合音声生成フレームワークを構築可能か？
• RQ2 共通の自己教師付き音声表現（LOA）が、多様な音声生成タスクを効果的にサポートできるか？
• RQ3 GPT-2 が生成する LOA 系列に潜在拡散モデルを条件づけることで、生成品質と制御性が向上するか？
• RQ4 文脈内学習が、音声生成の精細さとスタイルの一貫性をどの程度向上させるか？
• RQ5 異なる条件づけコンponent（CLAP、FLAN-T5、クロスアテンション）は、音声-テキストの整合性と生成品質にどのように寄与するか？

主な発見

• AudioLDM 2 は AudioCaps データセットで FAD 1.67 を達成し、先行手法を顕著に上回る最先端の性能を示した。
• 事前学習なしでも MOS 3.65 を達成し、ベースラインの FastSpeech2（MOS 3.78）と同等の水準であった。
• アブレーションスタディの結果、GPT-2 と LDM の共同微調整がすべての指標を向上させ、共同学習を除外すると FAD が 2.24 に上昇した。
• T-UNet における FLAN-T5 クロスアテンション機構の削除により、KL 発散が 20% 増加（1.01 → 1.30）し、音声品質の低下が示された。
• CLAP を唯一の入力として使用した場合、CLAP スコアがわずかに 25.0 に上昇し、評価指標への直接的な整合性が性能向上に寄与することが示された。
• 文脈内学習により、一貫性のある話者スタイルの転送が可能となり、モデルはテキスト記述と提供された音声文脈に一致する音声を生成した。

Figure 2: The influence of $\lambda$ on audio reconstruction from LOA $Y_{\lambda}$ . The reconstruction closely resembles the ground truth when $\lambda=1$ , suggesting that $Y_{\lambda=1}$ retains sufficient audio details. However, with $\lambda=2~{}\text{or}~{}4$ , the reconstruction diverges sli