[論文レビュー] Dual-path RNN: efficient long sequence modeling for time-domain single-channel speech separation

Yi Luo, Zhuo Chen+1 more|arXiv (Cornell University)|Oct 14, 2019

Speech and Audio Processing参考文献 36被引用数 50

ひとこと要約

Dual-path RNN (DPRNN) を導入し、 intra-chunk と inter-chunk RNN を交互に用いることで非常に長いシーケンスをモデル化。 TasNet の 1-D CNN を置換して、はるかに小さなモデルで WSJ0-2mix における最先端を達成。

ABSTRACT

Recent studies in deep learning-based speech separation have proven the superiority of time-domain approaches to conventional time-frequency-based methods. Unlike the time-frequency domain approaches, the time-domain separation systems often receive input sequences consisting of a huge number of time steps, which introduces challenges for modeling extremely long sequences. Conventional recurrent neural networks (RNNs) are not effective for modeling such long sequences due to optimization difficulties, while one-dimensional convolutional neural networks (1-D CNNs) cannot perform utterance-level sequence modeling when its receptive field is smaller than the sequence length. In this paper, we propose dual-path recurrent neural network (DPRNN), a simple yet effective method for organizing RNN layers in a deep structure to model extremely long sequences. DPRNN splits the long sequential input into smaller chunks and applies intra- and inter-chunk operations iteratively, where the input length can be made proportional to the square root of the original sequence length in each operation. Experiments show that by replacing 1-D CNN with DPRNN and apply sample-level modeling in the time-domain audio separation network (TasNet), a new state-of-the-art performance on WSJ0-2mix is achieved with a 20 times smaller model than the previous best system.

研究の動機と目的

• 時間領域音声分離における効果的な長いシーケンスのモデリングの必要性を動機づける。
• 長いシーケンスをチャンクに分割し、局所的およびグローバルな RNN を交互に適用する単純なアーキテクチャを提案する。
• サブリニア入力長さ (O(sqrt(L))) が最適化を改善しつつ性能を維持することを示す。
• TasNet における CNN を DPRNN に置換することで、より小さなモデルで最先端の結果を達成することを示す。

提案手法

• 長い入力を重複するチャンクに分割して 3-D テンソルを形成する。
• 各チャンクに対して内部チャンク bi-directional RNN を独立に適用する（局所モデリング）。
• チャンク間 RNN を跨いで適用し、グローバルな依存関係を捉える（発話レベルのモデリング）。
• 各 DPRNN ブロックの後に残差接続と層正規化を用いる。
• オーバーラップ-アドで複数の DPRNN ブロックを積み重ねてシーケンスを再構築する。

実験結果

リサーチクエスチョン

• RQ1 Dual-path RNN アーキテクチャは時間領域音声分離のための極端に長いシーケンスを効果的にモデル化できるか？
• RQ2 intra-chunk と inter-chunk 処理を交互に行うことは固定受容野 CNN ベースラインより利益をもたらすか？
• RQ3 DPRNN が WSJ0-2mix およびノイズ再現条件でモデルサイズと性能に与える影響は？

主な発見

• DPRNN-TasNet は WSJ0-2mix で SI-SNRi を 4.6% 向上させ、モデルサイズは 49% 小さくなる TCN-TasNet を上回る。
• 1-D CNN を DPRNN に置換すると、小さなモデルで同等以上の性能を達成可能となり、エンコーダーのウィンドウが 2 サンプル、フレームが 30k を超えると最良の SI-SNRi を得られる。
• DPRNN-TasNet は FurcaNeXt より 20x 小さいモデルで新しい最先端の SI-SNRi/SDRi を WSJ0-2mix に確立。
• DPRNN はノイズ混響条件下でも強い性能向上を示し、SI-SNRi が高く、WER が低くなるなど TCN ベースのモデルと比較して有利。