[論文レビュー] Diffsound: Discrete Diffusion Model for Text-to-sound Generation

Dongchao Yang, Jianwei Yu+5 more|arXiv (Cornell University)|Jul 20, 2022

Music and Audio Processing被引用数 8

ひとこと要約

本稿では、自然言語記述から高品質で文脈的に関連性のある音声を生成する非自己回帰的離散拡散モデルDiffsoundを提案する。自己回帰的ベースラインと比較して生成速度と品質の両方を向上させた。拡散ベースの反復的プロセスによりメルスペクトログ램トークンを予測・精錬することで、Diffsoundは3.56のMOSスコアを達成し、自己回帰的手法と比較して5倍速い推論速度を実現した。また、高い音声忠実度とテキスト-音声の整合性を維持した。

ABSTRACT

Generating sound effects that humans want is an important topic. However, there are few studies in this area for sound generation. In this study, we investigate generating sound conditioned on a text prompt and propose a novel text-to-sound generation framework that consists of a text encoder, a Vector Quantized Variational Autoencoder (VQ-VAE), a decoder, and a vocoder. The framework first uses the decoder to transfer the text features extracted from the text encoder to a mel-spectrogram with the help of VQ-VAE, and then the vocoder is used to transform the generated mel-spectrogram into a waveform. We found that the decoder significantly influences the generation performance. Thus, we focus on designing a good decoder in this study. We begin with the traditional autoregressive decoder, which has been proved as a state-of-the-art method in previous sound generation works. However, the AR decoder always predicts the mel-spectrogram tokens one by one in order, which introduces the unidirectional bias and accumulation of errors problems. Moreover, with the AR decoder, the sound generation time increases linearly with the sound duration. To overcome the shortcomings introduced by AR decoders, we propose a non-autoregressive decoder based on the discrete diffusion model, named Diffsound. Specifically, the Diffsound predicts all of the mel-spectrogram tokens in one step and then refines the predicted tokens in the next step, so the best-predicted results can be obtained after several steps. Our experiments show that our proposed Diffsound not only produces better text-to-sound generation results when compared with the AR decoder but also has a faster generation speed, e.g., MOS: 3.56 extit{v.s} 2.786, and the generation speed is five times faster than the AR decoder.

研究の動機と目的

• 自然言語記述から高忠実度で文脈的に適切な音声を生成できる有効なテキストから音声への生成モデルの不足を解消すること。
• 逐次予測による誤差の蓄積と遅い生成速度といった自己回帰的トークンデコーダーの限界を克服すること。
• 非自己回帰的トークンデコーダーを離散拡散モデリングに基づいて設計し、より高速かつ正確なメルスペクトログラムトークン生成を可能にすること。
• FID、KL発散、音声キャプション損失といった目的評価指標を構築し、音声品質、忠実度、テキスト整合性を包括的に評価すること。
• コード、事前学習済みモデル、生成サンプルを公開し、テキストから音声への生成分野における再現可能性とさらなる研究を支援すること。

提案手法

• フレームワークは、入力記述からテキスト特徴量を抽出するテキストエンコーダーを使用し、それを非自己回帰的トークンデコーダーの条件付けに用いる。このデコーダーは離散拡散に基づく。
• トークンデコーダーは、ノイズ除去拡散プロセスによりメルスペクトログラムトークンを生成する：最初に1ステップで全トークンを予測し、その後反復的に精錬することで精度を向上させる。
• 事前学習済みのVQ-VAEにより、メルスペクトログラムが離散トークン系列に圧縮され、離散潜在空間における系列モデリングが可能になる。
• ボコーダー（例：MelGAN）により、生成されたメルスペクトログラムが最終波形に変換され、音声合成パイプラインが完成する。
• 拡散プロセスは、ノイズスケジュールαₜとβₜで定式化され、αₜ = 1 - Kβₜと定義され、逆方向プロセスでは学習されたノイズ除去ステップを用いて元のトークン系列を回復する。
• モデルは再構成損失と拡散目的の組み合わせにより学習され、予測誤差を低減するための反復的精錬が行われる。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的拡散ベースのトークンデコーダーは、品質と速度の両面で自己回帰的モデルを上回ることができるか？
• RQ2 離散拡散モデルにおける反復的精錬機構は、自己回帰的生成と比較して誤差蓄積を効果的に低減するか？
• RQ3 提案された評価指標（FID、KL発散、音声キャプション損失）は、生成音声サンプルの忠実度と関連性を信頼性高く評価できるか？
• RQ4 Diffsoundモデルは、既存の最先端手法と比較して、実世界のテキストから音声への生成ベンチマークでどの程度の性能を発揮するか？
• RQ5 モデルは多様なサウンドエフェクトに一般化可能で、多様なテキストプロンプトと強い整合性を維持できるか？

主な発見

• Diffsoundは平均意見スコア（MOS）3.56を達成し、自己回帰的ベースライン（2.786）を著しく上回り、より優れた知覚的品質を示した。
• モデルは自己回帰的ベースラインと比較して、音声生成を5倍速く行えることを実証し、推論速度の顕著な向上を示した。
• FID、KL発散、音声キャプション損失といった目的評価指標は、人間評価と強い相関を示し、自動評価における有効性を裏付けた。
• 拡散ベースのトークンデコーダーにおける反復的精錬プロセスは、誤差伝搬を効果的に低減し、より正確なメルスペクトログラム生成を実現した。
• モデルは多様なテキストプロンプトに対して良好に一般化され、文脈的に適切で知覚的に妥当なサウンドエフェクトを生成した。
• 著者らは、http://dongchaoyang.top/text-to-sound-synthesis-demo/ にてコード、事前学習済みモデル、サンプル生成物を公開し、コミュニティのアクセスと再現可能性を可能にした。