[論文レビュー] End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction

Zhong-Qiu Wang, Jonathan Le Roux+2 more|arXiv (Cornell University)|Apr 26, 2018

Speech and Audio Processing参考文献 31被引用数 31

ひとこと要約

本稿では、繰り返し段階再構成を深層ニューラルネットワークに統合したエンド・ツー・エンドの音声分離モデルを提案する。MISIアルゴリズムの複数反復を通じて時間周波数マスクネットワークを訓練することで、位相の一貫性を向上させる。[0,1]を超えるマスク値を許容する新しい活性化関数を用いることで、WSJ0-2mixデータセットで12.6 dBのスケール不変SDRという、新たな最先端性能を達成し、位相再構成誤差を無視する従来手法を大きく上回る。

ABSTRACT

This paper proposes an end-to-end approach for single-channel speaker-independent multi-speaker speech separation, where time-frequency (T-F) masking, the short-time Fourier transform (STFT), and its inverse are represented as layers within a deep network. Previous approaches, rather than computing a loss on the reconstructed signal, used a surrogate loss based on the target STFT magnitudes. This ignores reconstruction error introduced by phase inconsistency. In our approach, the loss function is directly defined on the reconstructed signals, which are optimized for best separation. In addition, we train through unfolded iterations of a phase reconstruction algorithm, represented as a series of STFT and inverse STFT layers. While mask values are typically limited to lie between zero and one for approaches using the mixture phase for reconstruction, this limitation is less relevant if the estimated magnitudes are to be used together with phase reconstruction. We thus propose several novel activation functions for the output layer of the T-F masking, to allow mask values beyond one. On the publicly-available wsj0-2mix dataset, our approach achieves state-of-the-art 12.6 dB scale-invariant signal-to-distortion ratio (SI-SDR) and 13.1 dB SDR, revealing new possibilities for deep learning based phase reconstruction and representing a fundamental progress towards solving the notoriously-hard cocktail party problem.

研究の動機と目的

• 単一チャネルマルチスピーカー音声分離における位相不一致問題に対処すること。従来手法は再構成に混合音の位相を用い、再構成誤差を無視している。
• マグニチュードスペクトログラムの代理損失ではなく、再構成された波形信号の損失を直接最適化することで、信号再構成品質を向上させること。
• MISIなどの繰り返し段階再構成アルゴリズムを用いて、T-Fマスクネットワークを訓練することで、深層学習ベースの位相再構成を可能にし、再構成プロセスと整合性を保つこと。
• [0,1]を超える値を許容する新しい活性化関数をマスク層に導入し、STFT表現の一貫性を高めること。
• 繰り返し段階再構成を用いたエンド・ツー・エンド訓練が、音声分離性能を著しく向上させ、オラクルレベル性能に近づくことを示すこと。

提案手法

• 短時間フーリエ変換（STFT）と逆STFT（iSTFT）を深層ネットワーク内の微分可能レイヤーとして統合し、全信号再構成パイプラインのエンド・ツー・エンド最適化を可能にする。
• MISI（Multiple Input Spectrogram Inverse）アルゴリズムのK反復を用いてネットワークを訓練する新しい損失関数 $\mathcal{L}_{\text{WA-MISI-K}}$ を使用。繰り返し段階再構成プロセスをアンフォールド（展開）する。
• T-Fマスクネットワークは、凸ソフトマックスやその他の飽和しない関数を含む新しい活性化関数クラスを採用。これにより、マスク値が1を超えることが可能になり、繰り返し段階回復とより良い適合性を実現。
• カリキュラム学習戦略を採用：まず $\mathcal{L}_{\text{WA}}$ で訓練し、次第に $\mathcal{L}_{\text{WA-MISI-1}}$ から $\mathcal{L}_{\text{WA-MISI-5}}$ へと段階的に訓練。K=5が性能の飽和を示した。
• 深層クラスタリングとマスク推定を統合したChimera++アーキテクチャを採用。文脈モデリングに双方向LSTMを用い、埋め込みベクトルに単位長さ正規化を適用。
• 推論時、推定されたマグニチュードと混合音の位相を用いてMISIを5反復実行し、最終出力として再構成された時間領域信号を出力する。

実験結果

リサーチクエスチョン

• RQ1 繰り返し段階再構成を経由したエンド・ツー・エンド訓練が、位相不一致を低減させることで、音声分離性能を著しく向上させ得るか？
• RQ2 T-Fマスク値を[0,1]を超える範囲に許容することで、MISIのような繰り返し段階再構成アルゴリズムとの適合性が向上するか？
• RQ3 MISIの複数反復を訓練段階に組み込むことと、MISIによる後処理や混合音位相のみを用いることとでは、性能にどのような差が出るか？
• RQ4 微分可能でアンフォールドされたMISIプロセスを、マグニチュードと位相の共同最適化が可能な深層学習フレームワークに効果的に統合できるか？
• RQ5 波形レベル損失を用いたエンド・ツー・エンド最適化が、マグニチュードスペクトログラムに基づく代理損失を上回る程度はどの程度か？

主な発見

• 提案手法は、WSJ0-2mixデータセットで12.6 dBのスケール不変SDR（SI-SDR）を達成し、新たな最先端性能を樹立。前回の最高記録を1.4 dB上回った。
• 凸ソフトマックス活性化関数を用い、5反復のMISI訓練（WA-MISI-5）を実施したモデルは、SI-SDRが12.6 dB、SDRが13.1 dBを達成。従来の最先端手法Chimera++ネットワークを1.4 dBずつ上回った。
• $\mathcal{L}_{\text{WA-MISI-5}}$ で訓練したモデルでは、MISIを適用した際のテスト時性能が向上し、SI-SDRがMISIなしの12.2 dBからMISI 5反復で12.6 dBに上昇した。
• 単に $\mathcal{L}_{\text{WA}}$ でのみ訓練したモデルは、追加のMISI後処理で利益を得ず、ネットワークが訓練中に混合音の位相に適応していることが示唆された。
• 非飽和的かつ非有界なマスク活性化関数（例：凸ソフトマックス）の使用が性能向上に不可欠であり、これらにより、一貫性のあるSTFT再構成に適したマグニチュードを生成できるようになった。
• 結果は、オラクル理想比マスク（IRM）性能（12.7 dB SI-SDR）に近く、深層学習ベースの位相再構成が、理想性能とのギャップを顕著に縮小できることを示している。