[論文レビュー] Efficient neural networks for real-time modeling of analog dynamic range compression

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Feb 11, 2021

Structural Health Monitoring Techniques被引用数 9

ひとこと要約

本稿では、CPU上でリアルタイムに動作する因果的で計算効率の良い時空間畳み込みネットワーク（TCN）を提案し、その拡大要因が急速に増加するように設計することで、アナログのLA-2Aダイナミクスレンジコンプレッサーを再現する。スパースな拡大畳み込みを用いることで、層数を減らしても大きな受容 field を実現し、わずか10分間の学習データで最先端の性能を達成しながら、聴取テストでも知覚的正確性を維持する。

ABSTRACT

Deep learning approaches have demonstrated success in modeling analog audio effects. Nevertheless, challenges remain in modeling more complex effects that involve time-varying nonlinear elements, such as dynamic range compressors. Existing neural network approaches for modeling compression either ignore the device parameters, do not attain sufficient accuracy, or otherwise require large noncausal models prohibiting real-time operation. In this work, we propose a modification to temporal convolutional networks (TCNs) enabling greater efficiency without sacrificing performance. By utilizing very sparse convolutional kernels through rapidly growing dilations, our model attains a significant receptive field using fewer layers, reducing computation. Through a detailed evaluation we demonstrate our efficient and causal approach achieves state-of-the-art performance in modeling the analog LA-2A, is capable of real-time operation on CPU, and only requires 10 minutes of training data.

研究の動機と目的

• アナログのダイナミクスレンジコンプレッサー、特にLA-2Aコンプレッサーのリアルタイムで因果的なニューラルネットワークモデルを開発すること。
• リアルタイム音声処理を妨げる非因果的または計算コストの高い従来のモデルの限界を克服すること。
• モデルの複雑さと推論コストを低減しながら、エミュレーションにおける高い知覚的正確性を維持すること。
• データセットサイズの影響、特に最小限のデータにおけるモデル性能への影響を評価すること。
• プロフェッショナルなオーディオ工学のワークフローに実用的に導入可能なニューラルオーディオエフェクトモデルの実装を可能にすること。

提案手法

• 本手法は、リアルタイム動作を保証する因果的マスク付き拡大畳み込みを用いた変更版時空間畳み込みネットワーク（TCN）を採用する。
• 受容 field を最小限の層数で拡大するために、急速に増加する拡大要因（例：1, 2, 4, 8, 16, 32, 64, 128）を用いる。
• この拡大スケジュールにより、スパースな畳み込みカーネルが強制され、パラメータ数と計算量が削減される。
• 各層でゲインとバイアスを調整するため、装置パrameterを入力として受け取る多層パーセプトロン（MLP）によってネットワークを条件づける。
• 学習は、測定されたLA-2A応答からの予測出力とターゲット出力の間の平均二乗誤差損失を用いて実施する。
• モデルの評価は、客観的指標と、経験豊富なオーディオエンジニアを対象としたマルチステムラMUSHRA聴取テストにより実施する。

実験結果

リサーチクエスチョン

• RQ1 因果的で効率的なTCNアーキテクチャは、CPU上でリアルタイム動作を実現しながら、LA-2Aコンプレッサーのエミュレーションで最先端の性能を達成できるか？
• RQ2 標準的なTCNと比較して、急速に増加する拡大要因を用いることで、モデル性能と計算効率にどのような影響を与えるか？
• RQ3 LA-2Aコンプレッサーの高精度なエミュレーションを達成するために必要な最小限の学習データ量はどの程度か？
• RQ4 提案モデルは、元のアナログ機器および従来のニューラルモデルと比較して、どの程度知覚的に正確か？
• RQ5 モデルは、多様なオーディオコンテンツや制御パrameter設定に対して一般化可能であり、聴取に不快なアーティファクトを生じさせないか？

主な発見

• スパースで急速に増加する拡大を用いた因果的TCNは、LA-2Aコンプレッサーのエミュレーションにおいて最先端の性能を達成し、従来の非因果的で計算コストの高いモデルを上回った。
• モデルはCPU上でリアルタイムに動作し、デジタルオーディオワークステーションやプラグイン環境への実用的導入を可能にした。
• わずか10分間（全データセットの1％）の学習データで十分に高品質なエミュレーションが達成可能であり、データ要件を顕著に削減した。
• 18名の経験豊富なオーディオエンジニアを対象とした聴取テストでは、提案モデルと基準LA-2Aとの間に有意な知覚的差異は認められなかった（p_adj = 0.37）。ただし、両者とも元のLA-2Aよりわずかに劣っていた。
• SignalTrainベースラインは顕著なノイズのようなアーティファクトを発生させたが、提案モデルは一部のケースで基準より顕著に高い評価を受け、トランジェント応答の差異によるものとされた。
• Kruskal-Wallis H検定により、基準とLSTM-32および提案TCN-300-Cモデルとの間で中央値評価に有意差が認められた（p < 0.001）。聴取者らはわずかな差異を検知できたことが示された。