[論文レビュー] LaFurca: Iterative Refined Speech Separation Based on Context-Aware Dual-Path Parallel Bi-LSTM

Ziqiang Shi, Rujie Liu+1 more|arXiv (Cornell University)|Jan 23, 2020

Speech and Audio Processing参考文献 30被引用数 7

ひとこと要約

本稿では、段階的マルチステージ精錬を組み込んだコンテキストに配慮した二重パス並列BiLSTMネットワークに基づく、エンドツーエンドの時間領域音声分離モデルLaFurcaを提案する。内部および外部並列BiLSTMモジュール、グローバルコンテキスト認識、スパイラルマルチステージ精錬を導入することで、WSJ0-2mixデータセット上で20.55 dBのSDRiおよび20.35 dBのSI-SDRを達成し、先行手法を1.5 dB以上上回る最先端の性能を実現した。

ABSTRACT

Deep neural network with dual-path bi-directional long short-term memory (BiLSTM) block has been proved to be very effective in sequence modeling, especially in speech separation, e.g. DPRNN-TasNet \cite{luo2019dual}. In this paper, we propose several improvements of dual-path BiLSTM based network for end-to-end approach to monaural speech separation. Firstly a dual-path network with intra-parallel BiLSTM and inter-parallel BiLSTM components is introduced to reduce performance sub-variances among different branches. Secondly, we propose to use global context aware inter-intra cross-parallel BiLSTM to further perceive the global contextual information. Finally, a spiral multi-stage dual-path BiLSTM is proposed to iteratively refine the separation results of the previous stages. All these networks take the mixed utterance of two speakers and map it to two separate utterances, where each utterance contains only one speaker's voice. For the objective, we propose to train the network by directly optimizing the utterance level scale-invariant signal-to-distortion ratio (SI-SDR) in a permutation invariant training (PIT) style. Our experiments on the public WSJ0-2mix data corpus results in 20.55dB SDR improvement, 20.35dB SI-SDR improvement, 3.69 of PESQ, and 94.86\% of ESTOI, which shows our proposed networks can lead to performance improvement on the speaker separation task. We have open-sourced our re-implementation of the DPRNN-TasNet in https://github.com/ShiZiqiang/dual-path-RNNs-DPRNNs-based-speech-separation, and our LaFurca is realized based on this implementation of DPRNN-TasNet, it is believed that the results in this paper can be reproduced with ease.

研究の動機と目的

• 短時間フーリエ変換（STFT）に基づく音声分離手法の限界、すなわち位相不一致や信号表現の最適でない点を是正すること。
• より優れた順序モデリング能力を有するエンドツーエンド時間領域モデリングを活用することで、モノラル音声分離性能を向上させること。
• 重み共有行列と特徴マップの平均化を用いることで、二重パスBiLSTMアーキテクチャにおける並列ブランチ間の性能ばらつきを低減すること。
• 内部および外部並列ブランチ間の相互参照を可能にする、インターバーイントラクロス並列BiLSTM接続を導入することで、グローバルコンテキスト認識を強化すること。
• 各段階で出力結果をフィードバックし、次段階の入力として再利用するマルチステージ二重パスBiLSTM設計により、分離結果の反復的精錬を実現すること。

提案手法

• 重み共有行列と特徴マップの平均化を用いることで、並列ブランチ間の性能ばらつきを低減する二重パスBiLSTM構造を採用し、内部並列および外部並列BiLSTMコンponentsを統合する。
• 内部および外部並列ブランチ間の相互参照を可能にする、グローバルコンテキストに配慮したインターバーイントラクロス並列BiLSTMモジュールを導入し、長距離コンテキストモデリングを強化する。
• スパイラルマルチステージ二重パスBiLSTMアーキテクチャを設計し、1段階の出力を次の段階の入力としてフィードバックすることで、段階的反復的精錬を実現する。各段階は元の混合音声と直前の段階での推定値を入力とする。
• 語句レベルのスケール不変信号対歪み比（SI-SDR）を直接最適化できるように、パーミュテーション不変訓練（PIT）を用いてネットワークを学習する。
• DPRNN-TasNetフレームワークの拡張としてモデルを実装し、再現性を確保するためGitHubでコードを公開している。
• 学習プロセスではマルチステージ反復的精錬戦略を採用し、各段階が直前の段階を改善するように設計されており、最終段階で最高の性能が達成される。

実験結果

リサーチクエスチョン

• RQ1 重み共有を用いた並列BiLSTMモジュールは、二重パスBiLSTMに基づく音声分離における性能ばらつきを低減できるか？
• RQ2 インターバーイントラクロス並列BiLSTMを用いたグローバルコンテキスト認識の統合は、分離品質を向上させるか？
• RQ3 二重パスBiLSTMブロックを用いた反復的マルチステージ精錬は、エンドツーエンド音声分離において一貫した性能向上をもたらすか？
• RQ4 WSJ0-2mixデータセット上でのSDRi、SI-SDR、PESQ、ESTOIの観点から、提案されたLaFurcaモデルは最先端手法を上回るか？
• RQ5 GPUメモリ制約下で、並列処理、コンテキスト認識、反復的精錬を統合することで、モデル性能をどの程度向上できるか？

主な発見

• LaFurcaはWSJ0-2mixデータセット上で20.55 dBのSDRiおよび20.35 dBのSI-SDRを達成し、新たな最先端性能を記録し、先行手法を顕著に上回った。
• 8段階と9段階の構成（LaFurca(8,9)）が最良の結果を達成し、深層マルチステージ反復的精錬の有効性を示した。
• アブレーションスタディの結果、並列BiLSTM、コンテキストに配慮した二重パス、反復的精錬の各コンponentが性能向上に寄与していることが確認され、LaFurca(6,6)はDPRNN-TasNet比で0.6 dBのSDRi向上を達成した。
• LaFurcaは3.69のPESQおよび94.86%のESTOIを達成し、分離音声の高品質で聞き取りやすい特性を示した。
• 学習曲線から2段階で収束が確認されたことから、深層スタックは常に必要ではないが、計算リソースが許容される場合には有益であることが示された。
• モデル性能がSTFTベース手法の上限を7.5 dB以上上回ったことから、エンドツーエンド時間領域学習の優位性が裏付けられた。