[論文レビュー] Catch-A-Waveform: Learning to Generate Audio from a Single Short Example

Gal Greshler, Tamar Rott Shaham+1 more|arXiv (Cornell University)|Jun 11, 2021

Music and Audio Processing参考文献 48被引用数 5

ひとこと要約

本論文では、事前学習や外部の教師信号を一切用いずに、たった1つの短い音声例（最小20秒）から高品質で多様な音声サンプルを生成するGANベースのモデル、Catch-A-Waveform（CAW）を提案する。モデルは入力波形の統計的構造を学習し、音声補填、超解像、ノイズ除去などの応用が可能となり、最小限のデータでも最先端の性能を達成する。

ABSTRACT

Models for audio generation are typically trained on hours of recordings. Here, we illustrate that capturing the essence of an audio source is typically possible from as little as a few tens of seconds from a single training signal. Specifically, we present a GAN-based generative model that can be trained on one short audio signal from any domain (e.g. speech, music, etc.) and does not require pre-training or any other form of external supervision. Once trained, our model can generate random samples of arbitrary duration that maintain semantic similarity to the training waveform, yet exhibit new compositions of its audio primitives. This enables a long line of interesting applications, including generating new jazz improvisations or new a-cappella rap variants based on a single short example, producing coherent modifications to famous songs (e.g. adding a new verse to a Beatles song based solely on the original recording), filling-in of missing parts (inpainting), extending the bandwidth of a speech signal (super-resolution), and enhancing old recordings without access to any clean training example. We show that in all cases, no more than 20 seconds of training audio commonly suffice for our model to achieve state-of-the-art results. This is despite its complete lack of prior knowledge about the nature of audio signals in general.

研究の動機と目的

• 大規模なデータセットや外部の教師信号を必要とせず、1つの短い音声例から音声の統計的構造を学習する生成モデルを開発すること。
• 入力と類似した意味的構造を持つ多様な音声生成を可能とし、新規の即興演奏や楽曲の変形版、信号の強化を実現すること。
• 20秒間の音声データでの学習でも、補填や帯域拡張などのタスクで、何時間分も学習データを用いたモデルを上回ることを示すこと。
• クリーンなデータやペairedな学習データにアクセスできない状況でも、補填、超解像、ノイズ除去などの応用を可能とすること。
• 大量のデータが必須であるという仮定に挑戦し、極めて少ないデータからでも複雑な音声構造を学習可能かどうかを検討すること。

提案手法

• 時間領域で直接波形を生成するマルチスケール・ラウドオーディオ GAN アーキテクチャを採用し、スペクトル的または潜在空間表現の必要を回避する。
• 異なる時間的解像度で知覚的品質を強制するため、マルチスケールディスクリミネーターを採用し、信号の特徴に応じてピラミッドレベルを動的に選択する。
• 入力波形をノイズ仮説のもとで再構成することを促進する再構成損失を訓練目的に含め、自己教師付きノイズ除去を可能にする。
• 事前学習や外部の教師信号なしに、1つの短い生波形クリップ（例：20秒）上でエンドツーエンドに訓練する。
• 生成の構造的制御を可能とするために、生成器を入力の低周波成分に条件づけることで、条件付き生成を実現する。
• トレーニングの安定化とサンプルの多様性向上のため、適応的損失重み付けとノイズ注入をアーキテクチャに統合する。

実験結果

リサーチクエスチョン

• RQ1 外部の教師信号なしに、たった1つの短い音声例（20秒程度）から意味のある音声統計的構造を深層生成モデルが学習可能か？
• RQ2 1つの例での学習が、補填や超解像などのタスクで、大規模データセットで学習したモデルを上回る性能を示せるか？
• RQ3 言語的または調性的構造が欠落しているにもかかわらず、意味的に整合的で多様な音声サンプルを、知覚的に現実的であるように生成可能か？
• RQ4 クリーンな学習データにアクセスできない状況でも、自己教師付きノイズ除去がどの程度可能か？
• RQ5 1つの録音のみをもとに、新しい音楽的即興演奏や既存楽曲の変形版を生成可能か？

主な発見

• 20秒間の学習データのみで、補填と帯域拡張において最先端の性能を達成し、8時間分のデータで学習したモデルを上回った。
• ユーザーの好み評価では、50%のケースでCAWの生成音声がGACELAのものよりも好まれ、実音声との比較でも高い好みが維持されたことから、知覚的な現実性が裏付けられた。
• ノイズ除去において、合成ノイズ付き録音（白色ノイズおよびグラモフォンノイズ）に対してSNRを1.5–4 dB向上させ、SNR 5 dBの条件下でそれぞれ4.78 dBおよび1.56 dBの向上を達成した。
• クリーンな参照がない状況でも、歴史的録音（例：1903年のバイオリン録音）をノイズ除去し、元の音声よりも知覚的にクリアな出力を得た。
• 極めて少ないデータにもかかわらず、1つの20秒の例から、新しいジャズ即興演奏やアカペラ・ラップバージョンなど、多様で構造的に整合性のあるサンプルを生成した。
• モデルの性能は、話声、音楽、インストルメンタル録音など多様なドメインにわたり、ドメイン特化の調整なしに安定しており、汎用性が確認された。