[論文レビュー] Onssen: an open-source speech separation and enhancement library

Zhaoheng Ni, Michael Mandel|arXiv (Cornell University)|Nov 3, 2019

Speech and Audio Processing参考文献 18被引用数 5

ひとこと要約

Onssen は、PyTorch をベースにしたオープンソースのライブラリであり、深層学習に基づく音声分離および強調処理を可能にし、研究者が最小限のコードでカスタムデータセットに対して T-F マスクベースのモデル（例：Deep Clustering、Chimera、Chimera++）をトレーニングおよびベンチマークできる。SOTA の SDR スコア（例：wsj0-2mix で 11.0）を達成し、元論文の結果と一致する。一貫したトレーニングワークフローと、新しいモデルやデータセットの拡張性を提供する。

ABSTRACT

Speech separation is an essential task for multi-talker speech recognition. Recently many deep learning approaches are proposed and have been constantly refreshing the state-of-the-art performances. The lack of algorithm implementations limits researchers to use the same dataset for comparison. Building a generic platform can benefit researchers by easily implementing novel separation algorithms and comparing them with the existing ones on customized datasets. We introduce "onssen": an open-source speech separation and enhancement library. onssen is a library mainly for deep learning separation and enhancement algorithms. It uses LibRosa and NumPy libraries for the feature extraction and PyTorch as the back-end for model training. onssen supports most of the Time-Frequency mask-based separation algorithms (e.g. deep clustering, chimera net, chimera++, and so on) and also supports customized datasets. In this paper, we describe the functionality of modules in onssen and show the algorithms implemented by onssen achieve the same performances as reported in the original papers.

研究の動機と目的

• 深層学習に基づく音声分離アルゴリズムのアクセス可能で再利用可能な実装の不足に対処し、再現性の低下や異なる手法間の比較の困難さを解消すること。
• 研究者がコアのトレーニングパイプラインを再実装することなく、多様なデータセット上で新しい分離モデルを簡単に実装・トレーニング・評価できる、統一的でモジュラーなフレームワークを提供すること。
• マスクベースとエンドツーエンドの両方の音声分離アプローチをサポートすること。具体的には、Deep Clustering、Chimera、Chimera++ に加え、パーミュテーションインヴァリアントトレーニング（PIT）を含む。
• 異なるモデルやデータセット間で同一のトレーニングおよび評価プロトコルを保証することで、一貫性のあるベンチマークを可能にすること。
• 標準化されたインターフェースを通じて、コミュニティによる新しいモデルアーキテクチャ、特徴抽出器、データセットローダーの貢献を促進することで、拡張性を高めること。

提案手法

• Onssen は、データ、モデル、損失関数、トレーナーの各モジュールを別々に設計したモジュラーなアーキテクチャを採用しており、すべての設定は JSON 形式の設定ファイルで行うことで、モデル定義とトレーニングロジックを分離する。
• 音声特徴抽出には Librosa と NumPy を使用し、例としてログマグニチュード STFT を実装。深層学習のバックエンドには PyTorch を採用してモデルのトレーニングと最適化を実行。
• PIT（パーミュテーションインヴァリアントトレーニング）をデフォルトで実装。すべてのスピーカーの順列の組み合わせに対して損失を計算し、最小の損失を持つ順列を選択することで、ラベルの順列の不確実性を解消する。
• L1 範囲のマグニチュードスペクトル近似（MSA）と、切り捨てられた位相感知近似（tPSA）を含む、複数の損失関数をサポート。これらは位相を考慮した音声再構成において重要である。
• Chimera および Chimera++ の損失関数は、埋め込み学習のためのディープクラスタリング損失と、T-F マスク予測のためのマスク推論損失を組み合わせており、クラスタリング損失のデフォルト重みは α=0.975 である。
• トレーニングパイプラインはすべて JSON で構成可能であり、コアコードを変更せずにカスタムモデル、データセット、損失関数を統合できる。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセット上で、さまざまな深層学習ベースの音声分離モデルのトレーニングとベンチマークを簡素化する統一的でオープンソースのライブラリを構築可能か？
• RQ2 Onssen は、wsj0-2mix のような標準ベンチマークで、Deep Clustering や Chimera、Chimera++ といった既存のモデルの SOTA パフォーマンスをどの程度再現できるか？
• RQ3 PIT と位相を考慮した損失関数（例：tPSA）の統合が、モジュラーかつ再利用可能なフレームワーク内ですばやく効果的に機能するか？
• RQ4 ライブラリのモジュラー設計は、TasNet や conv-TasNet、DPRNN といった新しいモデルや、最小限の実装コストで新しいデータセットへの対応を可能にするか？
• RQ5 将来の拡張において、マルチGPUおよび分散トレーニングをサポートするにあたり、ライブラリのトレーニング効率とスケーラビリティはどの程度か？

主な発見

• Onssen は、主要なベースラインモデルの報告された SDR スコアを正確に再現した。wsj0-2mix データセット上で、Deep Clustering は 7.6 dB、uPIT-LSTM は 10.0 dB、Chimera は 10.5 dB、Chimera++ は 11.0 dB を達成した。
• オリジナル実装と同等のパフォーマンスを達成しており、Chimera++ は 11.0 dB の SDR を達成し、元論文で報告された 10.9 dB と一致した。
• MSA 損失関数を搭載した uPIT-LSTM モデルの実装は、文献に報告されたパフォーマンスと完全に一致し、10.0 dB の SDR を達成した。
• tPSA 損失関数は正しく実装されており、位相を考慮した分離において性能向上を示しており、Chimera++ の高い SDR がその効果を裏付けている。
• モジュラー設計により、新しいモデルやデータセットの統合がスムーズに可能で、トレーニングループや特徴抽出パイプラインの再実装が不要である。
• 将来的な拡張性を備えており、予定されているエンドツーエンドモデル（例：conv-TasNet、DPRNN）やマルチGPUシステムにおける分散トレーニングのサポートが予定されている。