[論文レビュー] Automatic music mixing with deep learning and out-of-domain data

Marco A. Martínez-Ramírez, Wei‐Hsiang Liao+4 more|arXiv (Cornell University)|Aug 24, 2022

Music and Audio Processing被引用数 12

ひとこと要約

本論文では、一般的に入手可能ではあるが、従来は使用不可であったドメイン外のウェットなマルチトラック録音を、ラウドネス、EQ、パンニング、DRC、リバーヴなどのオーディオエフェクト特徴を正規化することで、深層学習モデルを用いた自動音楽ミキシングのためのトレーニングが可能になる、新しいデータ前処理手法を提案する。主観的評価において熟練したエンジニアの間で、職業的かつプロフェッショナルに作られたミックスと区別がつかないミキシングが得られ、乾燥したマルチトラックデータを必要としないにもかかわらず、自動ミキシングの品質に顕著な飛躍を遂げた。

ABSTRACT

Music mixing traditionally involves recording instruments in the form of clean, individual tracks and blending them into a final mixture using audio effects and expert knowledge (e.g., a mixing engineer). The automation of music production tasks has become an emerging field in recent years, where rule-based methods and machine learning approaches have been explored. Nevertheless, the lack of dry or clean instrument recordings limits the performance of such models, which is still far from professional human-made mixes. We explore whether we can use out-of-domain data such as wet or processed multitrack music recordings and repurpose it to train supervised deep learning models that can bridge the current gap in automatic mixing quality. To achieve this we propose a novel data preprocessing method that allows the models to perform automatic music mixing. We also redesigned a listening test method for evaluating music mixing systems. We validate our results through such subjective tests using highly experienced mixing engineers as participants.

研究の動機と目的

• 自動音楽ミキシングにおける深層学習モデルの性能を制限している、ドライマルチトラック録音の著しい不足に対処すること。
• ドメイン外でウェットなマルチトラックデータが、自動ミキシングシステムの教師あり学習に再利用可能かどうかを検討すること。
• モデルがオーディオエフェクトを逆方向に処理し、元のミックスを再構築できるようにするためのデータ正規化技術を開発すること。
• 熟練したミキシングエンジニアを対象とした、知覚的根拠に基づいた聴取テストを設計し、システムの性能を客観的に評価すること。
• 既存のウェットデータセットのみを用いて、熟練したプロフェッショナルのミキシングと同等の自動ミキシング品質を達成すること。

提案手法

• ドメイン外データセットから計算された平均特徴を用いて、各オーディオエフェクトクラス（ラウドネス、EQ、パンニング、DRC、リバーブ）をステムごとに正規化する、新しいデータ前処理パイプラインを提案する。
• 楽器種別ごとに平均ラウドネス（LUFS）および周波数マグニチュードスペクトル（STFTを用いて）を計算し、正規化プロファイルの基準を設定する。
• エフェクト固有の正規化を適用：ラウドネスはゲイン調整、EQはターゲットスペクトルに一致するフィルタリング、パンニングはチャネル間レベル正規化、DRCはダイナミックレンジ等化、リバーブはスペクトル減衰正規化。
• 正規化されたステムを元に戻す（アンノーマライズ）ことで、ミキシングパrameter（ゲイン、EQ、パンニング、DRC、リバーブ）を予測する深層ニューラルネットワークを訓練する。これは、エフェクトを逆方向に処理する学習を効果的に実現する。
• ステレオ出力における汎化性と知覚的品質を向上させるために、ステレオに不変な損失関数を用いる。
• 推論時においても、同じ前処理を実際のドライマルチトラックデータに適用することで、エンドツーエンドの自動ミキシングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン外のウェットなマルチトラックデータでトレーニングされた深層学習モデルは、熟練したプロフェッショナルが作成したミキシングと同等の音楽ミキシングを生成できるか？
• RQ2 データ正規化技術は、ウェットなトレーニングデータとドライな推論データの分布ギャップを効果的に埋め合わせることができるか？
• RQ3 熟練したミキシングエンジニアは、モデルが生成したミキシングの知覚的品質を、プロフェッショナルが作成したミキシングと比較してどの程度評価するか？
• RQ4 提案されたステレオに不変な損失関数は、最終ミキシングの知覚的品質を向上させるか？
• RQ5 モデルは、ドライトレーニングデータにアクセスしない状態でも、多様な音楽ジャンルに一般化し、高品質なミキシングを維持できるか？

主な発見

• 熟練したエンジニアによる主観的聴取テストにおいて、提案手法はプロフェッショナルが作成したミキシングと区別がつかない、製品価値（Production Value）およびエキサイティングネス（Excitement）の水準に到達した。
• モデルが生成したミキシングは、クリアネス（Clarity）においてプロフェッショナルミキシングを大きく上回り、優れた知覚的透過性を示した。
• 聴取テストの結果、熟練したエンジニアによるプロフェッショナルミキシングの「非常に良い」という評価はまれであった。これは、評価タスクの難易度が高く、提案システムが達成した高い基準を示している。
• すべての知覚的基準において、ベースラインのWave-U-Netモデル（WUN）を上回り、特に製品価値とエキサイティングネスにおいて統計的に有意な改善（p < 0.001）を示した。
• ステレオに不変な損失関数は、特に空間的イメージとバランスの面で、汎化性と知覚的品質の向上に寄与した。
• 本手法により、MUSDB18などの既存のウェットデータセットを用いたトレーニングが可能となり、高価なドライマルチトラック収集の必要性を回避できた。