[論文レビュー] MP3net: coherent, minute-long music generation from raw audio with a simple convolutional GAN

Korneel van den Broek|arXiv (Cornell University)|Jan 12, 2021

Speech and Audio Processing参考文献 30被引用数 5

ひとこと要約

MP3net は、MP3/Vorbis 圧縮技術から得られる心理物理学的マスキングを活用し、完全な時間的文脈を有する受容 field を備えた段階的で文脈に配慮したアーキテクチャを採用することで、1つの Cloud TPUv2 で 250 時間の学習を経て、生の音声から直接、高品質で一貫性のある 1 分間のステレオ音声を生成する深層畳み込み GAN である。MDCT 変換された振幅表現を用いることで、スペクトログラムの逆変換を必要とせず、高精度な音声再構成が可能となる。

ABSTRACT

We present a deep convolutional GAN which leverages techniques from MP3/Vorbis audio compression to produce long, high-quality audio samples with long-range coherence. The model uses a Modified Discrete Cosine Transform (MDCT) data representation, which includes all phase information. Phase generation is hence integral part of the model. We leverage the auditory masking and psychoacoustic perception limit of the human ear to widen the true distribution and stabilize the training process. The model architecture is a deep 2D convolutional network, where each subsequent generator model block increases the resolution along the time axis and adds a higher octave along the frequency axis. The deeper layers are connected with all parts of the output and have the context of the full track. This enables generation of samples which exhibit long-range coherence. We use MP3net to create 95s stereo tracks with a 22kHz sample rate after training for 250h on a single Cloud TPUv2. An additional benefit of the CNN-based model architecture is that generation of new songs is almost instantaneous.

研究の動機と目的

• 生の音声から、楽譜や MIDI に依存せずに、長時間にわたる一貫性があり高精細な音声を直接生成すること。
• MP3/Vorbis 圧縮技術から得られる心理物理学的原則を活用することで、生の音声生成にかかる計算負荷を低減すること。
• 聞き取りにくい心理物理学的ノイズを注入することで、実データ分布のサポートを広げ、GAN の学習を安定化させること。
• 完全な文脈受容 field を備えた深層 CNN アーキテクチャにより、近似的に即時の音声生成を実現すること。
• より深い層に全時間的文脈へのアクセスを保証することで、生成音声における長距離の一貫性を確保すること。

提案手法

• モデルは、位相情報を完全に保持する修正離散コサイン変換（MDCT）振幅表現を用い、スペクトログラムの逆変換を経由せずに直接音声再構成が可能となる。
• 識別器の学習時に聞き取りにくい心理物理学的ノイズを適用することで、実データ分布のサポートを広げ、学習の安定性を向上させる。
• 生成器アーキテクチャは、時間軸に沿って分解能を段階的に向上させるとともに、周波数軸に沿って高オクターブを追加し、より深い層では全文脈入力を受ける。
• 段階的学習は、高オクターブを加算によって低オクターブに統合することで適応され、ぼやけを生じさせることなく、より深い層の学習に向けた低分解能のスペクトログラムを生成する。
• バッチ正規化の代わりにピクセル単位の特徴正規化を用いることで、MDCT 振幅空間における安定性を維持する。
• モデルは条件付き GAN の設定で学習され、後段の学習段階ではより深い層を凍結することでノイズを低減し、音声品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MDCT 振幅表現上で学習された GAN は、生の音声から一貫性があり高品質で 1 分間のステレオ音声を生成できるか？
• RQ2 人間の聴覚の心理物理学的特性を活用することで、GAN の学習を安定化させるとともに、計算要件を低減できるか？
• RQ3 より深い層に完全な文脈受容 field を備えた CNN アーキテクチャは、生成音声における長距離時間的一貫性をどの程度確保できるか？
• RQ4 段階的学習を MDCT をベースにした音声表現に適応させることで、重要な信号情報の損失なしに実現できるか？
• RQ5 位相を保持する MDCT 表現を用いる場合と、スペクトログラムベースの手法とを比較した場合、音声品質および学習安定性においてどのような差異が生じるか？

主な発見

• MP3net は、22kHz で 95 秒のステレオ音声を高知覚的品質と強い長距離一貫性を備えて生成することに成功した。
• 聞き取りにくい心理物理学的ノイズの注入により、学習が安定化し、モード崩壊の緩和が図られた。
• より深い層における完全な文脈受容 field により、モデルは音楽的構造の一貫性を全体にわたって保ち、時間的整合性が向上した。
• 効率的な CNN アーキテクチャのおかげで、推論はほぼ即時的に行えるため、リアルタイム応用に適している。
• 位相を保持する MDCT 振幅表現を用いることで、スペクトログラムの逆変換の必要がなくなり、生成パイプラインが簡素化された。
• 1 つの Cloud TPUv2 を 250 時間使用して学習した結果、高品質な音声が得られ、他の生の音声生成モデルと比較して効率的であることが示された。