[論文レビュー] Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation

Dong Yu, Morten Kolbæk+2 more|arXiv (Cornell University)|Jul 1, 2016

Speech and Audio Processing参考文献 26被引用数 7

ひとこと要約

この論文は、トレーニング中に最適な話者-ターゲット割り当てを特定することで分離誤差を直接最小化する、深層学習の新規基準である順列不変トレーニング（PIT）を導入する。これにより、話者に依存しない複数話者音声分離における長年のラベル順列問題が解決され、未知の話者や言語に対しても一般化可能となり、WSJ0およびデンマーク語混合音声データセットにおいてNMF、CASA、DPCLを上回る顕著なSDR向上を達成する。

ABSTRACT

We propose a novel deep learning model, which supports permutation invariant training (PIT), for speaker independent multi-talker speech separation, commonly known as the cocktail-party problem. Different from most of the prior arts that treat speech separation as a multi-class regression problem and the deep clustering technique that considers it a segmentation (or clustering) problem, our model optimizes for the separation regression error, ignoring the order of mixing sources. This strategy cleverly solves the long-lasting label permutation problem that has prevented progress on deep learning based techniques for speech separation. Experiments on the equal-energy mixing setup of a Danish corpus confirms the effectiveness of PIT. We believe improvements built upon PIT can eventually solve the cocktail-party problem and enable real-world adoption of, e.g., automatic meeting transcription and multi-party human-computer interaction, where overlapping speech is common.

研究の動機と目的

• 深層学習ベースの複数話者音声分離における長年のラベル順列問題に対処すること。
• マルチクラス回帰やクラスタリングの視点に依存せず、分離誤差を直接最適化するトレーニング基準を開発すること。
• 話者および言語に依存しない音響特徴を学習することで、未知の話者や言語に一般化できるようにすること。
• ビームフォーミングや複素数値再構成などの他の先進的技術と簡単に組み合わせられる、柔軟でモジュラーなトレーニングフレームワークを構築すること。

提案手法

• PITは、予測された話者出力のすべての順列を真値の音源と照合することで、音声分離を直接誤差最小化問題として定式化する。
• 各バッチに対して、予測音源のすべての順列について分離誤差を計算し、最小誤差となる順列を選択して損失を算出する。
• その損失はネットワークを逆伝播することでバックプロパゲーションされ、エンドツーエンドのトレーニングが可能となり、正しい話者割り当てが暗黙的に学習される。
• この手法はDNNやCNNを含むさまざまな深層アーキテクチャと互換性があり、マルチチャネルおよび複素スペクトル設定へも拡張可能である。
• 推論時における話者ラベルの必要性がないため、実世界のコcktailパーティーシナリオに適している。
• 話者トレース、ビームフォーミング、または複素数値信号再構成と組み合わせることで、さらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 話者に依存しない複数話者音声分離において、分離誤差を直接最小化する深層学習のトレーニング基準を設計できるか？
• RQ2 PITはNMF、CASA、DPCLといった既存手法と比較して、未知の話者や言語における性能と一般化能力でどのように差をつけるか？
• RQ3 PITは、深層学習ベースの音声分離分野において長年にわたり進展を妨えてきたラベル順列問題をどの程度軽減できるか？
• RQ4 PITはビームフォーミングや複素スペクトル再構成などの他の先進的技術と効果的に組み合わせられるか？
• RQ5 PITは、人間の聴覚認識に類似した、話者および言語に依存しない音響特徴を学習可能か？

主な発見

• PITはWSJ0およびデンマーク語混合音声分離タスクの両方でNMF、CASA、DPCLを上回り、顕著なSDR向上を達成した。
• WSJ0データセットでは、PIT-DNNが31×5の出力ウィンドウを用いた場合、最適な割り当てで9.29 dBのSDR向上を達成し、一部の設定ではIRMオラクルをも上回った。
• PITは未知の話者や言語に対しても良好に一般化する：デンマーク語データで学習したにもかかわらず、英語のWSJ0データに対して優れた性能を示した。
• 最適な割り当てとデフォルトの割り当ての性能差が最大になるのは同性別ケースで、かつ出力ウィンドウサイズが小さい場合であり、話者トレースの導入によるさらなる改善の余地があることを示唆している。
• CNNは常にDNNを上回るが、出力ウィンドウサイズが小さい場合にはその差が縮小するため、アーキテクチャおよびハイパーパramータの感度があることが示された。
• PITはエンドツーエンドのトレーニングを可能にし、3話者分離への拡張や、ビームフォーミングや複素スペクトル再構成と組み合わせることでさらなる性能向上が可能である。