[論文レビュー] Exploring Quality and Generalizability in Parameterized Neural Audio Effects

William Mitchell, Scott H. Hawley|arXiv (Cornell University)|Jun 9, 2020

Music and Audio Processing被引用数 4

ひとこと要約

本稿は、波形ドメインにおけるパrameterized音声エフェクトモデリングのためのSignalTrainニューラルネットワークを、速度、正確性、一般化性能の向上により改善した。データセットを単一楽器のコンテンツに制限することで、トレーニング時間の増加を伴わずにモデルの正確性が著しく向上することを示した。44.1kHz/16ビットの品質で、コンプレッサーおよびレスリー・キャビネットのシミュレーションを含む多様なエフェクトを効果的にモデル化した。

ABSTRACT

Deep neural networks have shown promise for music audio signal processing applications, often surpassing prior approaches, particularly as end-to-end models in the waveform domain. Yet results to date have tended to be constrained by low sample rates, noise, narrow domains of signal types, and/or lack of parameterized controls (i.e. "knobs"), making their suitability for professional audio engineering workflows still lacking. This work expands on prior research published on modeling nonlinear time-dependent signal processing effects associated with music production by means of a deep neural network, one which includes the ability to emulate the parameterized settings you would see on an analog piece of equipment, with the goal of eventually producing commercially viable, high quality audio, i.e. 44.1 kHz sampling rate at 16-bit resolution. The results in this paper highlight progress in modeling these effects through architecture and optimization changes, towards increasing computational efficiency, lowering signal-to-noise ratio, and extending to a larger variety of nonlinear audio effects. Toward these ends, the strategies employed involved a three-pronged approach: model speed, model accuracy, and model generalizability. Most of the presented methods provide marginal or no increase in output accuracy over the original model, with the exception of dataset manipulation. We found that limiting the audio content of the dataset, for example using datasets of just a single instrument, provided a significant improvement in model accuracy over models trained on more general datasets.

研究の動機と目的

• 低サンプリングレート、ノイズ、パrameterizedコントロールの欠如といった、先行研究の音声エフェクトモデルにおける限界を解決する。
• 44.1kHz/16ビットの音声品質を達成することで、プロフェッショナルなオーディオワークフローに適したSignalTrainモデルを強化する。
• アーキテクチャ的および最適化戦略を用いて、モデルの効率性、正確性、一般化性能を向上させる。
• アナログおよびデジタルタイプの多様な非線形音声エフェクト（例：レスリー・キャビネット、コンプレッサー）にわたる一般化能力を実証する。
• データセット構成（特に単一楽器対混合楽器データ）がモデル性能に与える影響を調査する。

提案手法

• スペクトログラムベースのアプローチを避けるために、位相および周波数情報を保持する波形ドメインでSignalTrainモデルをトレーニングする。
• アナログ音声機器に見られるパrameterizedコントロールを模倣する、トレーニング可能な仮想「ノブ」を導入する。
• 3段階の戦略を採用する：モデル速度（例：フリーズされたフォーリエ層）、モデル正確性（長時間のトレーニング、データセットキュレーション）、モデル一般化性能。
• レスリー・キャビネットのコーラスやトレモロの振動特性を捉えるために、最大98,304サンプルまでの入力バッファサイズを活用する。
• トレーニングの安定性と損失の低減を向上させるためにスキップ接続を実装し、トレーニング時間の増加を伴わない。
• AudioMDPIおよび独自の録音データから得たデータセットを用いて、検証損失と聴取的評価を通じてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 波形ドメインにおけるニューラルネットワークにパrameterizedノブを組み合わせることで、44.1kHz/16ビット解像度の高精細音声エフェクトを達成できるか？
• RQ2 トレーニングデータを単一楽器のコンテンツに制限することで、モデルの正確性および一般化性能にどのような影響を与えるか？
• RQ3 フリーズされたフォーリエ層やスキップ接続といったアーキテクチャ的選択が、トレーニング速度および損失収束に与える影響は何か？
• RQ4 SignalTrainモデルは、アナログ（レスリー・キャビネット）およびデジタル（HackAudioコンプレッサー）エフェクトを含む多様な非線形音声エフェクトに一般化できるか？
• RQ5 入力バッファサイズおよび振動信号の特性が、コーラスやトレモロのようなエフェクトのトレーニングに与える影響は何か？

主な発見

• トレーニングデータセットを単一楽器のコンテンツに制限することで、トレーニング時間の増加を伴わず、モデルの正確性が著しく向上した。混合楽器データでトレーニングしたモデルよりも優れた性能を示した。
• 51.35時間のトレーニング後、レスリー・ウーファー・トレモロエフェクトにおいて最終検証損失が1.225e-4に達した。これは、高い計算コストにもかかわらず、効果的な学習が行われたことを示している。
• 1,000エポックを超えてトレーニングを継続しても、損失の改善はわずかであり、音質の顕著な向上も見られなかった。これは、収益の逓減が顕著であることを示している。
• フォーリエ変換層をフリーズすることでトレーニング速度が向上したが、モデルの正確性が著しく低下した。このトレードオフは妥当でない。
• スキップ接続はトレーニング時間を増加させない一方で、損失を顕著に低減させ、収束性およびモデル安定性の向上に寄与した。
• モデルはアナログ（レスリー・キャビネット）およびデジタル（HackAudioコンプレッサー）エフェクトの両方に対して一般化に成功し、多様なオーディオ処理タスクへの広範な適用可能性を示した。