[論文レビュー] MTCRNN: A multi-scale RNN for directed audio texture synthesis

Muhammad Huzaifah, Lonce Wyse|arXiv (Cornell University)|Nov 25, 2020

Music and Audio Processing参考文献 11被引用数 6

ひとこと要約

MTCRNNは、解釈可能な制御パラメータに階層的RNNティアを条件づけることで、エンジン、雨、心拍音などの複雑なテクスチャを含む長時間にわたる音声テクスチャのユーザー指向合成を可能にするマルチスケール再帰ニューラルネットワークを提案する。このモデルは、単一スケールの代替手法よりも優れた汎化性能と制御性を実現し、短い訓練時間と高いロバスト性を兼ね備えた高品質な合成を達成する。

ABSTRACT

Audio textures are a subset of environmental sounds, often defined as having stable statistical characteristics within an adequately large window of time but may be unstructured locally. They include common everyday sounds such as from rain, wind, and engines. Given that these complex sounds contain patterns on multiple timescales, they are a challenge to model with traditional methods. We introduce a novel modelling approach for textures, combining recurrent neural networks trained at different levels of abstraction with a conditioning strategy that allows for user-directed synthesis. We demonstrate the model's performance on a variety of datasets, examine its performance on various metrics, and discuss some potential applications.

研究の動機と目的

• 深層学習を用いて、安定した長期統計的特徴を示すが局所的に変動する音声テクスチャ（例：エンジン音、雨音、心拍音）をモデル化する課題に対処すること。
• 高レベルの制御パラメータ（例：rev、fill）を低レベルの音声生成にリンクする階層的条件づけを通じて、ユーザー指向の合成を可能にすること。
• 補助特徴（例：RMSE、オノセット強度）を中間の条件づけ信号として用いることで、学習データを越えた汎化性能を向上させること。
• エンジン音、雨、ゲーリングカウンターなど多様なデータセットにおいて、現実的で制御可能な音声テクスチャの生成能力を実証すること。
• スタイル変換や学習済みパrameter範囲外への外挿といった応用を検討すること。

提案手法

• 複数のスタックされたゲート付き再帰ユニット（GRU）ティアを用い、それぞれが異なる時間スケールで動作する。下位ティアはゆっくり変化する特徴を処理し、上位ティアは生の音声サンプルを生成する。
• 各ティアは、前のティアの出力および音声信号から抽出された補助特徴（例：MFCC、RMSE、オノセット強度）に条件づけられる。
• 制御パラメータ（例：'rev'、'fill'、'rate'）が中間の条件づけベクトルを生成し、階層的合成プロセスをガイドする。
• モデルはエンドツーエンドではなく、各ティアをそれぞれの時間スケールで独立して訓練する。これにより、訓練時間の短縮と安定性の向上が達成される。
• アーキテクチャは、長期構造のモデリング（上位ティアによる）と局所的音声ディテール（下位ティアによる）の分離を実現し、より良い制御性と汎化性能を可能にする。
• マルチスケールの条件づけ戦略により、知覚的整合性を保ちつつ、テクスチャ特徴の動的変更が可能になる。

実験結果

リサーチクエスチョン

• RQ1 階層的RNNアーキテクチャにマルチスケールの条件づけを施したモデルは、ユーザー指向の制御が可能な高精細で長時間の音声テクスチャを生成できるか？
• RQ2 マルチティア条件づけは、単一スケールモデルと比較して、どのように汎化性能とロバスト性を向上させるか？
• RQ3 制御変数（例：'rate' や 'rev'）の学習範囲外において、モデルがどの程度外挿できるか？
• RQ4 共通の条件づけ特徴を用いることで、1つのテクスチャモデルから別のモデルに長期的パターン（例：ゲーリングカウンターのクリックタイミング）を効果的にスタイル変換できるか？
• RQ5 解釈可能な補助特徴（例：RMSE、オノセット強度）の使用は、合成品質と制御性をどの程度向上させるか？

主な発見

• MTCRNNは、より単純なRNNベースのアーキテクチャであるにもかかわらず、単一スケールのWavenetと比較して、より低いFrechet Audio Distance（FAD）を達成し、競争力のあるサンプル品質を実現した。
• 各ティアを独立して訓練するため、MTCRNNの訓練時間は顕著に短く、エンドツーエンドの代替手法よりもパラメータ数が少なかった。
• 生成された中間パラメータに条件づけられた場合でも、モデルはFADのわずかな低下のみを示し、優れた汎化能力を示した。
• モデルは、学習済みパラメータ範囲外にまで一般化に成功した。例えば、'pop'データセットでは、最大学習レートの3倍まで正しいポップレートを維持した。
• 制御パラメータを物理的でない方法で操作することで、『容器の空気抜き』や『エンジン加速の逆転』といった、従来にない合成機能が可能になった。
• スタイル変換の実験では、共通の条件づけ特徴を用いることで、あるモデルの長期的パターン（例：ゲーリングカウンターのクリックタイミング）を、そのパターンがトレーニングデータに存在しないターゲットモデルに効果的に転送できた。