[論文レビュー] A general-purpose deep learning approach to model time-varying audio effects

M Martinez Ramirez, Emmanouil Benetos+1 more|arXiv (Cornell University)|May 15, 2019

Speech and Audio Processing参考文献 30被引用数 13

ひとこと要約

本論文では、畳み込みニューラルネットワークと再帰的ニューラルネットワーク（特にBi-LSTM層）を組み合わせた汎用的ディープラーニングモデルを提案する。このモデルは、回路固有の知識を必要とせず、ブラックボックスの形で時間変動するオーディオエフェクトを学習する。モデルはコーラス、フラanger、ファーザー、トレイモロ、リングモジュレータ、レスリー・スピーカー、コンプレッサーなど、多様な線形および非線形エフェクトを正確に再現でき、変調スペクトル類似度に基づく新しい目的関数を用いて、聴覚的に正確な結果を達成した。

ABSTRACT

Audio processors whose parameters are modified periodically over time are often referred as time-varying or modulation based audio effects. Most existing methods for modeling these type of effect units are often optimized to a very specific circuit and cannot be efficiently generalized to other time-varying effects. Based on convolutional and recurrent neural networks, we propose a deep learning architecture for generic black-box modeling of audio processors with long-term memory. We explore the capabilities of deep neural networks to learn such long temporal dependencies and we show the network modeling various linear and nonlinear, time-varying and time-invariant audio effects. In order to measure the performance of the model, we propose an objective metric based on the psychoacoustics of modulation frequency perception. We also analyze what the model is actually learning and how the given task is accomplished.

研究の動機と目的

• 特定のアナログ回路の専門的知識を必要とせず、多様な時間変動型オーディオエフェクトをモデリングできる汎用的ディープラーニングフレームワークの開発。
• 既存のバーチャルアナログ手法の限界、すなわち回路に特化しており、異なるエフェクトタイプ間での容易な移植性に欠ける問題の解決。
• ディープニューラルネットワークが、変調ベースのオーディオエフェクトに内在する長期的時系列依存性を学習できるかの検証。
• 変調スペクトルに基づく、聴覚に配慮した目的関数の提案と、モデル性能の評価に用いる。
• 長期間の記憶を持つ特性を持つ時間変動型および時間不変型オーディオエフェクトの両方に対して、モデルの一般化能力の検証。

提案手法

• モデルは、局所的特徴抽出のための畳み込み層と、音声信号の長期的時系列依存性を捉えるために双方向LSTM（Bi-LSTM）ネットワークを組み合わせたハイブリッドアーキテクチャを採用する。
• 入力として生のオーディオ波形を用い、エンドツーエンドで時間変動型エフェクトタスクに対する出力音声を予測するように学習する。
• アーキテクチャは、時間変動システムの基本方程式を明示的に解くことなく、コンテントベースの変換を学習することを目的として設計されている。
• 変調スペクトル帯間のユークリッド距離に基づく、新しい目的関数を導入し、変調周波数の心理的知覚を反映する。
• 各エフェクトタイプごとに少数の音声例で学習を行うことで、多様なエフェクトユニットにわたる一般化を可能にした。
• 線形および非線形時間変動型エフェクト、特にリングモジュレーションやドップラー効果のような複雑な非線形性を有するエフェクトに対しても、アプローチの有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、下位の回路構造に関する事前知識がなくても、時間変動型オーディオエフェクトをモデリングするために必要な長期的時系列依存性を学習できるか？
• RQ2 1つのディープラーニングアーキテクチャが、線形および非線形の両方のタイプを含む多様な変調ベースのオーディオエフェクトに、どの程度一般化できるか？
• RQ3 コーラス、フラnger、レスリー・スピーカーなど、振幅、周波数、空間的変調に加えて人工リバーブを組み合わせた複雑なエフェクト（例：レスリー・スピーカー）を、モデルがどの程度正確に再現できるか？
• RQ4 提案された変調スペクトルに基づく評価指標は、聴覚的品質と相関しており、信頼性の高い客観的性能指標として機能するか？
• RQ5 同じアーキテクチャを用いて、クロスオーバーフィルタの明示的モデリングがなくても、コンプレッサー、オートワウなど長期間記憶を持つ時間不変型エフェクトを効果的に学習できるか？

主な発見

• モデルはコーラス、フラnger、ファーザー、トレイモロ、バイブラート、オートワウ、リングモジュレータ、レスリー・スピーカーなど、広範な時間変動型オーディオエフェクトを、聴覚的に正確な結果で再現できた。
• コンプレッサーおよびマルチバンドコンプレッサーなどの時間不変型エフェクトにおいても、平均絶対誤差（MAE）が低く抑えられ、クロスオーバーフィルタの明示的モデリングがなくても高い性能を示した。
• 提案された変調スペクトルに基づく評価指標は、聴覚的な差異を効果的に捉えており、変調エフェクトの人の耳による知覚と相関していた。
• モデルは、異なる楽器やエフェクトタイプにわたって良好に一般化し、回路固有の仮定を必要とせずに変換を学習できた。
• 周波数の高域とノイズレベルの部分でわずかな差異が観察されたため、フィルタバンクの解像度を向上させたり、時間周波数損失関数を導入することでさらなる改善が可能であると示唆された。
• 非線形性に対して高いロバストネスを示し、複数の非線形相互作用を含む複雑なエフェクト（例：リングモジュレータ、レスリー・スピーカー）を効果的にモデリングできた。