[論文レビュー] ArchiSound: Audio Generation with Diffusion

Flavio Schneider|arXiv (Cornell University)|Jan 30, 2023

Music and Audio Processing被引用数 9

ひとこと要約

ArchiSoundは音声生成のための拡散モデルを検討し、テキスト条件付き潜在音声拡散手法と積み重ねた1D U-Netsを用いてテキストから数分間の音楽を生成し、コンシューマーGPU上でのリアルタイム推論を目指すとともに、オープンソースライブラリを提供する。

ABSTRACT

The recent surge in popularity of diffusion models for image generation has brought new attention to the potential of these models in other areas of media generation. One area that has yet to be fully explored is the application of diffusion models to audio generation. Audio generation requires an understanding of multiple aspects, such as the temporal dimension, long term structure, multiple layers of overlapping sounds, and the nuances that only trained listeners can detect. In this work, we investigate the potential of diffusion models for audio generation. We propose a set of models to tackle multiple aspects, including a new method for text-conditional latent audio diffusion with stacked 1D U-Nets, that can generate multiple minutes of music from a textual description. For each model, we make an effort to maintain reasonable inference speed, targeting real-time on a single consumer GPU. In addition to trained models, we provide a collection of open source libraries with the hope of simplifying future work in the field. Samples can be found at https://bit.ly/audio-diffusion. Codes are at https://github.com/archinetai/audio-diffusion-pytorch.

研究の動機と目的

• 拡散モデルを用いた音声生成の動機づけを行い、時間的構造と多層の音の重なりを解決する。
• テキスト条件付き潜在音声拡散フレームワークを提案する。
• 単一のコンシューマーGPU上でのリアルタイム推論を目指す。
• 将来の研究を促進するオープンソースライブラリとサンプル結果を提供する。

提案手法

• 積み重ねた1D U-Netsを用いたテキスト条件付き潜在音声拡散法を提案する。
• 音声生成における時間的・長期構造・重なる音を扱うために複数のモデルを開発する。
• 単一のコンシューマーGPU上でのリアルタイム推論を目指す。
• 将来の研究を支援するオープンソースライブラリとサンプルリポジトリを公開する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルはテキスト記述から数分間の音楽を生成できるか。
• RQ2 提案された拡散アーキテクチャでコンシューマーGPU上のリアルタイムまたはほぼリアルタイムの音声生成が実現可能か。
• RQ3 テキスト条件付き潜在音声拡散に対して積み重ねた1D U-Netsはどの程度有効か。
• RQ4 音声拡散研究を加速するために提供されるオープンソース資源は何か。

主な発見

• 音声生成に特化した拡散ベースのアプローチを導入。
• 積み重ねた1D U-Netsを用いたテキスト条件付き潜在拡散フレームワークを提示。
• コンシューマーGPU上でリアルタイム性能に適した推論速度を維持することを目指す。
• 将来の研究を円滑にするオープンソースライブラリとサンプルコードを提供する。