[論文レビュー] A Feature Learning Siamese Model for Intelligent Control of the Dynamic Range Compressor

Sheng Di, György Fazekas|arXiv (Cornell University)|May 1, 2019

Music and Audio Processing参考文献 27被引用数 4

ひとこと要約

本論文では、1つの参照音声を用いて、ダイナミックレンジコンプレッション（DRC）パラメータ—しきい値、レシオ、アタック時間、リリース時間—を知的に制御するための普遍的な音声特徴埋め込みを学習する、シアンプス型深層ニューラルネットワーク（DNN）モデルを提案する。このモデルは、特に複数のパラメータを同時に予測する場合に、手作業で作成された特徴量を上回り、モノフォンの楽器ループおよびポリフォニック音楽の両方で平均絶対誤差（MAE）が低くなることを示しており、一般化性能とロバストネスの向上を実証している。

ABSTRACT

In this paper, a siamese DNN model is proposed to learn the characteristics of the audio dynamic range compressor (DRC). This facilitates an intelligent control system that uses audio examples to configure the DRC, a widely used non-linear audio signal conditioning technique in the areas of music production, speech communication and broadcasting. Several alternative siamese DNN architectures are proposed to learn feature embeddings that can characterise subtle effects due to dynamic range compression. These models are compared with each other as well as handcrafted features proposed in previous work. The evaluation of the relations between the hyperparameters of DNN and DRC parameters are also provided. The best model is able to produce a universal feature embedding that is capable of predicting multiple DRC parameters simultaneously, which is a significant improvement from our previous research. The feature embedding shows better performance than handcrafted audio features when predicting DRC parameters for both mono-instrument audio loops and polyphonic music pieces.

研究の動機と目的

• 従来の手作業特徴量の限界を克服し、複数のDRCパラメータを同時に予測可能な汎用的かつエンドツーエンドでトレーニング可能な特徴学習モデルの開発を目的とする。
• DRCパラメータの全4つの回帰モデルを1つの統合モデルに置き換えることで、計算複雑性を低減することを目的とする。
• 不変な音声表現を学習することで、多様な音声素材、特に複雑なポリフォニック音楽を含む、一般化性能とロバストネスを向上させることを目的とする。
• 異なるDNNアーキテクチャおよび入力表現（例：高分解能スペクトログラム）が、判別性の高いDRC関連特徴を学習する上でどのように影響を与えるかを評価することを目的とする。
• 予測精度およびさまざまな音声コンテンツにおける一般化性能の観点から、学習された特徴埋め込みと手作業特徴量を比較することを目的とする。

提案手法

• シアンプス型DNNアーキテクチャを採用し、参照音声と入力音声を処理する同一のサブネットワークを2つ設け、最終層出力のL2差分から特徴埋め込みを導出する。
• 類似したDRCパラメータ設定が近接してマップされるように、コンパクトで判別性の高い埋め込み空間を学習するため、コントラスト損失を用いてトレーニングする。
• 入力表現には高分解能時間周波数スペクトログラム（例：64×625）とマルチスケールスペクトログラムを用い、前者が優れた性能を示した。
• 学習された特徴埋め込みを従来の回帰モデルの入力として用い、手作業特徴量との比較を可能にする。
• モデルのバリエーションには標準CNN、マルチカーネルCNN、リカージブネットワークを含み、DRCパラメータ予測の最適化を目的にハイパーパrameterを調整した。
• トレーニングデータは、DRCパラメータのグリッドサーチ（例：しきい値：10–49 dB、レシオ：1.28–20、アタック：1–98.5 ms、リリース：10–985 ms）を用いて生成され、評価用の大規模データセットが構築された。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、しきい値、レシオ、アタック、リリースといった複数のDRCパラメータに一般化可能な普遍的な特徴埋め込みを学習できるか？
• RQ2 複数のDRCパラメータを同時に予測する際、学習された特徴埋め込みの性能は、手作業特徴量と比べてどのように異なるか？
• RQ3 入力表現の選択（例：高分解能スペクトログラム対マルチスケール）が、学習された埋め込みの質に顕著な影響を与えるか？
• RQ4 アーキテクチャの選択（例：標準CNN対マルチカーネルCNN）が、異なる音声タイプにおける特徴埋め込みの一般化性能とロバストネスにどのように影響するか？
• RQ5 単純なドラムループでトレーニングしたモデルが、複雑なポリフォニック音楽に一般化しやすいのはなぜか？また、より豊かな音声コンテンツで性能が向上する理由は何か？

主な発見

• 高分解能スペクトログラムを入力とすることで、最も優れた性能を示したシアンプス型DNNモデルは、手作業特徴量および他のDNNアーキテクチャを上回った。
• 4パラメータ同時予測において、しきい値の平均絶対誤差（MAE）は2.369 dB、レシオは3.265、アタック時間は10.868 ms、リリース時間は79.045 msであり、手作業特徴量よりも顕著に低かった。
• MedleyDBデータセットのポリフォニック音楽をテストした結果、学習された埋め込みは、しきい値でMAE 1.697 dB、アタック時間で9.873 msを達成し、手作業特徴量（11.585 dBおよび26.628 ms）を上回った。
• 驚くべきことに、モデルはドラムループよりもポリフォニック音楽に一般化しやすかった。これは、より豊かな音声コンテンツが特徴学習を改善する可能性を示唆している。
• 2パラメータ予測と比較して4パラメータ予測で性能が低下したのは、グリッドサイズの拡大とデータの複雑さの増加が、より細かいハイパーパrameterチューニングや追加のトレーニングデータを必要とする可能性を示している。
• 1つの統合DNNが4つの別々の回帰モデルに置き換え可能であり、計算複雑性を低減するとともに、特徴の一般化性能を向上させることを示した。