[論文レビュー] Efficient Neural Networks for Real-time Analog Audio Effect Modeling.

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Feb 11, 2021

Speech and Audio Processing参考文献 39被引用数 10

ひとこと要約

本論文では、非常に大きな拡張係数を有する浅い時系列畳み込みネットワーク（TCN）を用いて、アナログオーディオエフェクトを軽量でリアルタイム対応にモデル化するニューラルネットワークを提案する。広範な受容 field を活用することで、従来手法に比べてトレーニングデータの1%で、CPU上で4倍の推論速度向上を達成し、コンプレッサーのような複雑なエフェクトの聴覚的に正確なリアルタイムモデル化を可能にする。

ABSTRACT

Deep learning approaches have demonstrated success in the task of modeling analog audio effects such as distortion and overdrive. Nevertheless, challenges remain in modeling more complex effects, such as dynamic range compressors, along with their variable parameters. Previous methods are computationally complex, and noncausal, prohibiting real-time operation, which is critical for use in audio production contexts. They additionally utilize large training datasets, which are time-intensive to generate. In this work, we demonstrate that shallower temporal convolutional networks (TCNs) that exploit very large dilation factors for significant receptive field can achieve state-of-the-art performance, while remaining efficient. Not only are these models found to be perceptually similar to the original effect, they achieve a 4x speedup, enabling real-time operation on CPU, and can be trained using only 1% of the data from previous methods.

研究の動機と目的

• リアルタイムオーディオ制作用途における利用を妨げる計算効率の低さと非因果的設計を有する従来のディープラーニングモデルの課題を解決すること。
• 通常、収集に時間がかかるため、ニューラルオーディオエフェクトモデルのトレーニングに必要なデータ量を削減すること。
• 軽量で因果的構造を有するアーキテクチャを設計することで、標準CPU上でのリアルタイム推論を可能にすること。
• ダイナミックレンジコンプレッサーのような複雑なエフェクトを、従来手法よりも高い聴覚的忠実度でモデル化すること。
• 浅いTCNに大きな拡張係数を適用することで、顕著にモデル複雑性を低減しつつ、最先端の性能を達成または上回ることを示すこと。

提案手法

• モデルの深さを増さずに、非常に大きな拡張係数を有する浅い時系列畳み込みネットワーク（TCN）を用いて、広範な有効受容 field を実現すること。
• ネットワークの計算において時系列的因果性を保つことで、リアルタイム推論を実現する因果的アーキテクチャを設計すること。
• FLOPsを最小限に抑える軽量なネットワーク構造を採用し、標準CPU上でのリアルタイム動作を可能にすること。
• 従来手法が要するトレーニングデータの1%のみでモデルをトレーニングし、大きな受容 field による効率的な特徴抽出を活用すること。
• 客観的および主観的評価指標を用いて、オリジナルのアナログエフェクトとの聴覚的類似度を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 非常に大きな拡張係数を有する浅いTCNは、計算効率を保ちながら、アナログオーディオエフェクトのモデリングで最先端の性能を達成できるか？
• RQ2 従来手法と比較して、性能を損なわず、どの程度データ要件を削減できるか？
• RQ3 提案されたアーキテクチャは、CPU上でリアルタイム推論を可能にし、ライブオーディオ制作に適しているか？
• RQ4 歪みやオーバードライブよりも難しいとされるダイナミックレンジコンプレッサーのような複雑なエフェクトへ、モデルはどの程度一般化できるか？

主な発見

• 提案されたTCNベースのモデルは、従来手法と比較して推論速度が4倍向上し、CPU上でのリアルタイム動作を実現している。
• モデルは従来手法が使用するトレーニングデータの1%でのみ学習が可能であり、データ収集コストを顕著に削減している。
• 聴覚的評価により、特に複雑なコンプレッサーに対しても、モデル出力がオリジナルのアナログエフェクトと極めて類似していることが確認された。
• 高い拡張係数により得られる広大な受容 field は、音声信号における長期的な時系列依存性の正確なモデル化を可能にしている。
• アーキテクチャは因果性を維持しており、リアルタイムオーディオ処理パイプラインとの互換性がある。