[論文レビュー] Universal Source Separation with Weakly Labelled Data

Qiuqiang Kong, Ke Chen+5 more|arXiv (Cornell University)|May 11, 2023

Speech and Audio Processing被引用数 8

ひとこと要約

この研究は AudioSet の弱くラベル付けされたデータのみを用いて universal source separation システムを訓練し、クリーンなソースなしに数百度の音源クラスの分離を実現します。複数のデータセットで強力な SDR の改善を達成し、アンカーセグメントを基点とした階層的でクエリベースの分離を導入します。

ABSTRACT

Universal source separation (USS) is a fundamental research task for computational auditory scene analysis, which aims to separate mono recordings into individual source tracks. There are three potential challenges awaiting the solution to the audio source separation task. First, previous audio source separation systems mainly focus on separating one or a limited number of specific sources. There is a lack of research on building a unified system that can separate arbitrary sources via a single model. Second, most previous systems require clean source data to train a separator, while clean source data are scarce. Third, there is a lack of USS system that can automatically detect and separate active sound classes in a hierarchical level. To use large-scale weakly labeled/unlabeled audio data for audio source separation, we propose a universal audio source separation framework containing: 1) an audio tagging model trained on weakly labeled data as a query net; and 2) a conditional source separation model that takes query net outputs as conditions to separate arbitrary sound sources. We investigate various query nets, source separation models, and training strategies and propose a hierarchical USS strategy to automatically detect and separate sound classes from the AudioSet ontology. By solely leveraging the weakly labelled AudioSet, our USS system is successful in separating a wide variety of sound classes, including sound event separation, music source separation, and speech enhancement. The USS system achieves an average signal-to-distortion ratio improvement (SDRi) of 5.57 dB over 527 sound classes of AudioSet; 10.57 dB on the DCASE 2018 Task 2 dataset; 8.12 dB on the MUSDB18 dataset; an SDRi of 7.28 dB on the Slakh2100 dataset; and an SSNR of 9.00 dB on the voicebank-demand dataset. We release the source code at https://github.com/bytedance/uss

研究の動機と目的

• 任意のソースを扱える USS を単一モデルで実現することを動機づける。
• 大規模な弱ラベルデータ（AudioSet）を活用してクリーンソースデータへの依存を克服する。
• 階層的・オントロジー認識的アプローチにより能動音源クラスを自動検出・分離する。
• クエリに基づく分離フレームワークを開発し、conditioning 信号で分離を誘導する。
• さまざまなクエリネット、アンカーマイニング戦略、訓練スキームが USS の性能に与える影響を調査する。

提案手法

• 弱ラベルデータを用いる4段階の USS パイプラインを提案：サンプリング、アンカーセグメントのマイニング、クエリ埋め込みを生成する音声タグ付け、分離器を条件付き混合訓練。
• 事前学習済みまたはファインチューニング済みの音声タグ付けモデル（PANNs または HTS-AT）でマイニングされたアンカーセグメントを用い、訓練用の短くて活発なセグメントを作成。
• ResUNet ベースのソース分離器を、クエリネット由来の FiLM 変調埋め込みで条件付け（ハードワンホット、ソフト確率、潜在埋め込み、学習可能埋め込み）。
• waveform に対する L1 損失でエンドツーエンド訓練を行い、エネルギーベースのデータ拡張を適用してアンカーペアのエネルギーをバランスさせる。
• 階層的な AudioSet オントロジーを採用して自動的にレベル別に能動音源を検出・分離し、 granularity のレベル間での USS のスケーラビリティを実現する。

Figure 1: The standard architecture of deep-learning-based audio source separation model. Left top: synthesis-based separation model. Left bottom: mask-based separation model. Right: the general type of frequency-domain separation model.

実験結果

リサーチクエスチョン

• RQ1 USS は弱ラベルデータだけで数百の音源クラスを分離するよう訓練できるか？
• RQ2 アンカーセグメントマイニングと異なるクエリ埋め込みは分離をどれだけ効果的に導くか？
• RQ3 階層的オントロジーに基づく検出は AudioSet の異なるレベルで自動的・スケーラブルな USS を可能にするか？
• RQ4 AudioSet のみで訓練した場合、さまざまなデータセットで SDRi はどうなるか？
• RQ5 データ拡張とエネルギー平衡は分離性能にどう影響するか？

主な発見

• AudioSet のみで訓練された USS システムは複数データセットで SDR の改善（SDRi）を達成：527 の AudioSet クラスで 5.57 dB、DCASE 2018 Task 2 で 10.57 dB、MUSDB18 で 8.12 dB、Slakh2100 で 7.28 dB、voicebank-demand で 9.00 dB の SSNR。
• SED モデルによるアンカーセグメントマイニングは弱ラベル付きクリップ内のターゲットイベントを局所化し、クリーンソースなしで訓練を可能にする。
• 音声タグ付けモデルから導出されたクエリ埋め込み（ハード/ソフト/潜在/学習可能）は分離器の条件付けに効果的で、ResUNet 本体への FiLM 的統合を促進。
• 階層的オントロジーのグルーピングにより、AudioSet の異なるレベルで自動検出と分離が可能となり、事前に定義されたターゲットリストの必要性を低減。
• このフレームワークは、クリーンソースデータを使わずに、音源イベント分離、音楽ソース分離、スピーチ強調へ広く適用可能であることを示す。

Figure 2: Left: Clean source data of sound class “Flute”. Right: Weakly labelled data of sound class “Air horn, truck horn” which only occurs between 2.5s - 4.0s.