[論文レビュー] Asteroid: the PyTorch-based audio source separation toolkit for researchers

Manuel Pariente, Samuele Cornell+12 more|arXiv (Cornell University)|May 8, 2020

Speech and Audio Processing参考文献 41被引用数 51

ひとこと要約

Asteroidは再現性の高い研究を促進するために、エンコーダー-マスク-デコーダーアーキテクチャ、構成可能なフィルタバンク、損失関数、データセット、Kaldiスタイルのレシピを提供する、エンドツーエンドの音声ソース分離と音声強調のための PyTorch ベースのオープンソースツールキットです。

ABSTRACT

This paper describes Asteroid, the PyTorch-based audio source separation toolkit for researchers. Inspired by the most successful neural source separation systems, it provides all neural building blocks required to build such a system. To improve reproducibility, Kaldi-style recipes on common audio source separation datasets are also provided. This paper describes the software architecture of Asteroid and its most important features. By showing experimental results obtained with Asteroid's recipes, we show that our implementations are at least on par with most results reported in reference papers. The toolkit is publicly available at https://github.com/mpariente/asteroid .

研究の動機と目的

• データ準備から評価までのエンドツーエンドパイプラインを提供することで、ニューラル音声ソース分離における再現性のある研究を促進する。
• 複数のエンコーダー-マスク-デコーダー構成と損失関数を備えた柔軟な PyTorch ベースのフレームワークを提供する。
• Kaldiスタイルのレシピとデータセットのコレクションを提供し、研究間の実験を標準化する。

提案手法

• 交換可能なフィルタバンク、マスク、損失関数を備えたエンコーダー-マスク-デコーダーアーキテクチャを実装する。
• STFTベースのものや学習可能なオプションを含むさまざまなフィルタバンクと、PyTorch互換のインターフェースを備えた複素値マスキングをサポートする。
• 複数話者の順序の曖昧さを扱うための Permutation Invariant Training (PIT) 損失ラッパーを提供する。
• Kaldiスタイルのワークフローに従うデータセットレシピとエンドツーエンド実験の訓練/評価パイプラインを提供する。
• スケーラブルな訓練のために PyTorch-Lightning と統合し、標準化された評価指標の pb_bss_eval を利用する。

実験結果

リサーチクエスチョン

• RQ1 Asteroidは構成可能なレシピを用いて、標準データセット間で最先端の音声分離結果を再現できるか？
• RQ2 異なるフィルタバンク、マスクネットワーク、損失関数は、単一チャンネル混合物の分離性能にどのように影響するか？
• RQ3 エンドツーエンドの Kaldiスタイルのレシピを提供することで、音声ソース分離の再現性と実験のしやすさはどの程度向上するか？
• RQ4 標準データセット上での一般的なアーキテクチャ（例：TasNetの派生、DPRNN、Open-Unmix）の基準性能はどの程度か？
• RQ5 PST（Permutation-Invariant）損失は、Asteroidの訓練パイプライン内で従来の損失と比較してどうなるか？

主な発見

• Asteroidのレシピは wsj0-2mix における SI-SDRi の改善を、いくつかのアーキテクチャで元の報告と同等かそれ以上の水準で達成している。
• WHAMR タスクでは、改良 TasNet アーキテクチャを用いると、Asteroidの結果が複数の条件で元のものを上回り、場合によっては SI-SDRi が最大で 2.6 dB に達している。
• Asteroidは、TasNet系の派生や DPRNN などのモデルを実装・評価するためのスムーズなワークフローを提供しており、TasNetレシピは1日未満で作成できるなど、迅速な実験を可能にしている。
• ツールキットはデータセットとアーキテクチャを横断して競争力のある性能を示しており、開発とベンチマークのための研究指向のプラットフォームとしての有効性を検証している。
• Asteroidは Kaldiスタイルのレシピ、詳細なデータ準備手順、および設定ファイル名主導の実験設定を通じて再現性を強調している。