[論文レビュー] A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis

Liwei Lin, Qiuqiang Kong+2 more|arXiv (Cornell University)|Aug 7, 2021

Music and Audio Processing被引用数 9

ひとこと要約

本論文は、ピッチとトーンの表現を分離することで、音楽ソース分離、自動音楽譜書き起こし（AMT）、音声合成を統合的に実行するゼロショットの深層学習モデルを提案する。クエリ・バイ・エクサムプル入力と、ピッチにベクトル量子化、トーンにピッチシフト不変損失という新しいインダクティブバイアスを用いることで、再訓練なしに未学習の楽器からの音楽合成を可能にするとともに、譜面情報が分離性能を向上させる強力な補助信号として機能する。

ABSTRACT

We propose a unified model for three inter-related tasks: 1) to extit{separate} individual sound sources from a mixed music audio, 2) to extit{transcribe} each sound source to MIDI notes, and 3) to extit{ synthesize} new pieces based on the timbre of separated sources. The model is inspired by the fact that when humans listen to music, our minds can not only separate the sounds of different instruments, but also at the same time perceive high-level representations such as score and timbre. To mirror such capability computationally, we designed a pitch-timbre disentanglement module based on a popular encoder-decoder neural architecture for source separation. The key inductive biases are vector-quantization for pitch representation and pitch-transformation invariant for timbre representation. In addition, we adopted a query-by-example method to achieve extit{zero-shot} learning, i.e., the model is capable of doing source separation, transcription, and synthesis for extit{unseen} instruments. The current design focuses on audio mixtures of two monophonic instruments. Experimental results show that our model outperforms existing multi-task baselines, and the transcribed score serves as a powerful auxiliary for separation tasks.

研究の動機と目的

• 3つのコアな音楽処理タスク—ソース分離、譜面書き起こし、音声合成—を、再訓練なしに新しい楽器に適用可能な1つのゼロショットフレームワークに統合すること。
• 新規楽器に一般化できるように、クエリ・バイ・エクサムプル入力を用いて再訓練なしに学習可能であることを実現すること。
• 分離されたピッチとトーンの表現を補助信号として活用することで、分離性能を向上させること。
• より良い一般化と合成の正確性を実現するため、意味的なピッチとトーンの分離を促進するインダクティブバイアスを設計すること。
• 譜面情報がマルチタスク設定におけるソース分離性能を顕著に向上させるかどうかを実証すること。

提案手法

• モデルは、単一楽器のクリアな音声サンプルを低次元ベクトルに埋め込むクエリ・バイ・エクサムプル（QBE）ネットワークを用いる。
• ピッチ・トーン分離モジュールは、ピッチにベクトル量子化、トーンにピッチシフト不変損失を用いて、混合音声ソースの潜在表現を明確に分離されたピッチおよびトーンのベクトルに分解する。
• トランスクリプタコンponentは、分離されたピッチ表現をMIDIノートに変換し、自動音楽譜書き起こしを実現する。
• 音声エンコーダ・デコーダアーキテクチャは、分離されたピッチおよびトーン表現から分離音声を再構築する。
• モデルは、コントラスト損失と再構築損失を用いて、マルチタスクの目的関数（ソース分離、譜面書き起こし、音声合成）に基づき、エンド・トゥ・エンドで訓練される。
• 音声合成はピッチシフト不変のトーン損失により可能となり、同じトーン表現を用いて新しいピッチシーケンスで音声を生成できる。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、新しい楽器の再訓練なしにゼロショットで音楽ソース分離、譜面書き起こし、音声合成を実行できるか？
• RQ2 ピッチ・トーン分離は、マルチタスク学習フレームワークにおいて、ソース分離と譜面書き起こしの性能をどのように向上させるか？
• RQ3 提案されたインダクティブバイアス（ピッチにベクトル量子化、トーンにピッチシフト不変性）は、分離と一般化をどの程度向上させるか？
• RQ4 譜面情報は、ソース分離性能を向上させる意味的な補助信号として機能するか？
• RQ5 分離品質（合成用）と再構築正確性（分離用）の間には、どのようなトレードオフがあるか？

主な発見

• 提案されたMSIモデルは、SDRで1.06ポイントの改善を示し、分離性能においてマルチタスクおよびシングルタスクのベースラインを上回った。これは、分離表現を統合的に学習することの利点を示している。
• 未学習の楽器においてもゼロショット性能を達成しており、図4およびオーディオデモで示されるように、正常な分離と譜面書き起こしが可能である。
• ピッチシフト不変損失を含むMSI-DISバージョンは、未学習のトーンから新しい音声を合成でき、標準的なMSIモデルでは不可能であるため、インダクティブバイアスの有効性が裏付けられた。
• より優れた合成品質を達成している一方で、MSI-DISモデルはMSIモデルに比べてわずかに低い分離性能を示しており、分離と再構築正確性の間のトレードオフが確認された。
• 分離されたピッチ表現は、譜面情報が強力な補助信号として機能することを示しており、MSSオンリーベースラインに比べた性能向上が裏付けられた。
• スペクトログラムの可視化による点検では、MSI-DISモデルがMSIモデルよりもクリアでモノフォニックな出力を得ており、後者は複数のピッチを同時に分離する場合があることが確認された。