[論文レビュー] Randomized Overdrive Neural Networks

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Oct 8, 2020

Neural Networks and Applications参考文献 13被引用数 4

ひとこと要約

本論文では、時間領域におけるランダムに初期化された時空間畳み込みネットワーク（TCN）を用いることで、学習を伴わずに創造的で音響的な歪みエフェクトを生成する新規手法、ランダムオーバードライブニューラルネットワーク（RONN）を提案する。訓練なしに、深さ、カーネルサイズ、活性化関数、重み初期化といったアーキテクチャパラメータが、微細なオーバードライブからリバーブに類似した極端な時間的歪みまで多様なサウンド特性を直接決定づける。これにより、ネットワークアーキテクチャの完全な制御が可能なVST/AUプラグインを通じて、リアルタイムでインタラクティブなサウンドデザインが可能となる。

ABSTRACT

By processing audio signals in the time-domain with randomly weighted temporal convolutional networks (TCNs), we uncover a wide range of novel, yet controllable overdrive effects. We discover that architectural aspects, such as the depth of the network, the kernel size, the number of channels, the activation function, as well as the weight initialization, all have a clear impact on the sonic character of the resultant effect, without the need for training. In practice, these effects range from conventional overdrive and distortion, to more extreme effects, as the receptive field grows, similar to a fusion of distortion, equalization, delay, and reverb. To enable use by musicians and producers, we provide a real-time plugin implementation. This allows users to dynamically design networks, listening to the results in real-time. We provide a demonstration and code at https://csteinmetz1.github.io/ronn.

研究の動機と目的

• 訓練なしにランダムに初期化されたニューラルネットワークの創造的潜在能力を音声信号処理分野で探求すること。
• ユーザーがニューラルネットワークアーキテクチャを調整することで、新規の歪みエフェクトを設計・即時に聴取可能なリアルタイムでインタラクティブなオーディオプラグインを開発すること。
• TCNにおけるアーキテクチャ的選択、たとえば深さ、カーネルサイズ、活性化関数が、モデルの学習を要せずともサウンドの特徴に直接影響することを実証すること。
• 機械学習の専門知識を持たないミュージシャンやプロデューサーが、直感的で動的なネットワークパラメータ設定を通じて、複雑で制御可能なオーディオエフェクトにアクセスできることを可能にすること。
• 完全に畳み込み型で、ランダムに初期化されたネットワークが、従来の歪みおよび空間処理と同等の、魅力的で音楽的に有用なエフェクトを生成できるかどうかを調査すること。

提案手法

• 本手法は、訓練なしに、因果的かつ拡張畳み込みを用いた、完全に畳み込み型の時空間畳み込みネットワーク（TCN）をフィードフォワード型で用い、学習を伴わず、指数的に拡大する受容 field を実現する。
• 重みはランダムに初期化され、逆誤差伝搬や学習は一切行わず、音声出力を形作る要因はアーキテクチャハイパーパrameterに依存する。
• 実装では、PyTorchのC++ APIを用い、パラメータ化されたニューラルネットワークモジュールをJUCEベースのVST/AUプラグインに埋め込み、リアルタイム音声処理を実現する。
• ブロックベースの処理における信号の継続性を保つために、リードバックバッファを用いる。これにより、フレーム境界で感知可能な不連続性が生じない。
• 深さ方向に分離可能な畳み込みを用いることで計算効率を向上させ、大規模な受容 field（最大4秒）であっても、標準CPU上でリアルタイム処理を可能にする。
• 複数の出力チャネルを許容することでステレオ出力を生成し、モノラルまたはステレオ入力からもチャネル間相互作用と空間的効果を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダムに初期化され、訓練なしのニューラルネットワークが、時間領域で音楽的に有用で制御可能な歪みエフェクトを生成できるか？
• RQ2 ネットワークの深さ、カーネルサイズ、活性化関数、重み初期化といったアーキテクチャ的要素が、生成される音響エフェクトのサウンド的特徴にどのように影響を与えるか？
• RQ3 完全に畳み込み型で訓練なしのTCNが、従来の歪み、ディレイ、リバーブに類似したエフェクトをどれほど正確に模倣または凌駕できるか？
• RQ4 機械学習の専門知識を持たないユーザーが、ニューラルネットワークアーキテクチャの多様な空間を探索できるリアルタイムでインタラクティブなプラグインインターフェースを設計できるか？
• RQ5 受容 field のサイズと拡張畳み込みが、処理された音声の時間的および周波数的特徴にどのように影響を与えるか？

主な発見

• 深さ、カーネルサイズ、活性化関数といったアーキテクチャパラメータが、出力のサウンド的特徴を直接的かつ制御可能に決定づけ、従来のオーバードライブからリバーブに類似した極端な時間的歪みまで多様なエフェクトを生成する。
• シグモイド活性化関数は荒々しくがっしりとした歪みを生み出し、ReLU活性化関数はファズに類似した効果を生成した。非線形性の形状がトーンに顕著に影響することが示された。
• 重み初期化の方法が、歪みのトーン品質に影響を与えることが判明し、ランダム初期化そのものに聴覚的に識別可能なサウンドのばらつきが生じることを示した。
• 深さ方向に分離可能な畳み込みの使用により、最大4秒の受容 field を有するネットワークで、標準CPU上でもリアルタイム処理が可能となり、一般用途のハードウェアでも複雑なエフェクトが利用可能になった。
• 複数の出力チャネルを用いたステレオ出力生成により、モノラル入力からもチャネル間相互作用が可能となり、空間的で没入感のある音響エフェクトが実現した。
• グローバルシードコントロールにより、エフェクトの再現性とプリセット保存が可能となり、ミュージシャンやプロデューサーによる使いやすさが向上した。