[論文レビュー] Assisted Sound Sample Generation with Musical Conditioning in Adversarial Auto-Encoders

Adrien Bitton, Philippe Esling+2 more|arXiv (Cornell University)|Apr 12, 2019

Music and Audio Processing参考文献 18被引用数 7

ひとこと要約

本論文では、音楽的条件付けをFiLMと敵対的訓練を用いて行い、リアルタイムで表現的な音声サンプル生成を可能にする、Wasserstein自己符号化器に基づく軽量で非自己再帰的な生成モデル、WAE-Faderを提案する。このモデルはオーケストラのトーンカラーと演奏テクニックの分離され、連続的なスタイル制御を学習し、潜在空間の操作によって直感的な属性の混合を可能にするとともに、プラグインを介したリアルタイムのDAW統合音声合成を実現する。

ABSTRACT

Generative models have thrived in computer vision, enabling unprecedented image processes. Yet the results in audio remain less advanced. Our project targets real-time sound synthesis from a reduced set of high-level parameters, including semantic controls that can be adapted to different sound libraries and specific tags. These generative variables should allow expressive modulations of target musical qualities and continuously mix into new styles. To this extent we train AEs on an orchestral database of individual note samples, along with their intrinsic attributes: note class, timbre domain and extended playing techniques. We condition the decoder for control over the rendered note attributes and use latent adversarial training for learning expressive style parameters that can ultimately be mixed. We evaluate both generative performances and latent representation. Our ablation study demonstrates the effectiveness of the musical conditioning mechanisms. The proposed model generates notes as magnitude spectrograms from any probabilistic latent code samples, with expressive control of orchestral timbres and playing styles. Its training data subsets can directly be visualized in the 3D latent representation. Waveform rendering can be done offline with GLA. In order to allow real-time interactions, we fine-tune the decoder with a pretrained MCNN and embed the full waveform generation pipeline in a plugin. Moreover the encoder could be used to process new input samples, after manipulating their latent attribute representation, the decoder can generate sample variations as an audio effect would. Our solution remains rather fast to train, it can directly be applied to other sound domains, including an user's libraries with custom sound tags that could be mapped to specific generative controls. As a result, it fosters creativity and intuitive audio style experimentations.

研究の動機と目的

• 音楽的属性（トーンカラー、演奏テクニック、ピッチなど）の意味的制御を可能にする、高速で軽量なリアルタイム音声合成用生成モデルの開発。
• 特に視覚的でない分野（音楽など）において、解釈可能で制御可能な表現が不足している現状に対処すること。
• 音楽的属性から学習した連続的かつ分離された潜在変数を用いて、直感的でファーダーのような複数の音声スタイルの混合を可能にすること。
• リアルタイム波形生成に適合させ、デジタルオーディオワークステーション（DAW）に統合できるように、ライブパフォーマンスやサウンドデザインに適したシステムを提供すること。
• カスタムタグを生成的制御にマッピングすることで、ユーザー固有のサウンドライブラリにモデルを拡張し、パーソナライズされた音声合成を可能にすること。

提案手法

• オーケストラのノートサンプルのメルスペクトログ램の振幅を学習対象として、Wasserstein自己符号化器（WAE）を訓練し、分離され、3次元の潜在表現を学習する。
• ノート属性（ピッチクラス、トーンカラー分野、拡張演奏テクニックなど）を明示的に制御できるように、デコーダーを特徴量別線形調製（FiLM）で条件づける。
• 属性に依存しない潜在表現を促進し、スタイル制御の分離を強化するとともに、連続的なスタイルの混合を可能にするために、ファーダー潜在識別器を導入する。
• 敵対的訓練を用いて、潜在空間におけるスタイル変数の表現力と分離性を向上させつつ、再構成品質を維持する。
• 事前学習済みのメルスペクトログラム復元ネットワーク（MCNN）を用いてデコーダーを微調整し、潜在コードからリアルタイムの波形生成を可能にする。
• LibTorchを用いてPureDataプラグインにパイプライン全体を統合し、MIDIマッピングとライブDAW統合を実現し、インタラクティブなサウンドデザインを可能にする。

実験結果

リサーチクエスチョン

• RQ1 音楽的条件付けを用いた軽量で非自己再帰的な自己符号化器モデルは、音楽的属性を用いてオーケストラ用の音声サンプルの分離され、連続的なスタイル制御を学習できるか？
• RQ2 ファーダー識別器を用いた敵対的訓練は、属性に依存しない潜在表現を促進するとともに、正確な属性条件付き生成を可能にするか？
• RQ3 学習された潜在空間は、複数の音楽的属性（例：トーンカラーと演奏テクニック）の直感的でファーダーのような混合をどの程度可能にするか？
• RQ4 再訓練なしにカスタムタグを生成的制御にマッピングすることで、ユーザー固有のサウンドライブラリにモデルを適応できるか？
• RQ5 リアルタイム環境において、Griffin-Limと微調整済みのニューラル復元ネットワークの間で、波形再構成品質はどの程度比較されるか？

主な発見

• WAE-Faderモデルは、テスト再構成損失が低く保たれるため、メルスペクトログラム振幅の高品質な再構成を達成しており、強力な生成性能を示している。
• アブレーションスタディの結果、FiLMによる音楽的条件付けと敵対的訓練が、属性条件付き生成を顕著に向上させ、条件なしのベースラインモデルを上回っていることが確認された。
• 潜在空間の可視化により、3次元潜在空間内にトーンカラー、演奏テクニックなどの属性が明確にクラスタリングされていることが示され、分離性と解釈可能性が裏付けられた。
• モデルはスタイル変数の連続的混合を可能にし、ファーダーのように潜在制御を調整することで、ハイブリッドトーンカラーとエフェクトの作成が可能である。
• MCNNを用いたデコーダーの微調整により、Griffin-Limとほぼ同等の波形品質が得られ、ライブパフォーマンスに適したリアルタイム音声レンダリングが可能になった。
• プラグイン実装により、リアルタイムのMIDIマッピングとDAW統合が可能となり、低レイテンシー応答でインタラクティブで表現力豊かなサウンドデザインが実現された。