[論文レビュー] Effective Low-Cost Time-Domain Audio Separation Using Globally Attentive Locally Recurrent Networks

Max W. Y. Lam, Jun Wang+2 more|arXiv (Cornell University)|Jan 13, 2021

Speech and Audio Processing参考文献 38被引用数 9

ひとこと要約

本稿では、長距離依存関係をモデル化するため、局所的再帰処理とグローバル自己注意を組み合わせた、低コストで効率的な時域音声分離用アーキテクチャであるGlobally Attentive Locally Recurrent (GALR) ネットワークを提案する。GALRは、DPRNNと比較して36.1%のランタイムメモリ削減と49.4%のFLOPs削減を達成しながら、WSJ0-2mixで2.4 dBのSI-SNRi向上を実現し、最先端の性能を達成した。

ABSTRACT

Recent research on the time-domain audio separation networks (TasNets) has brought great success to speech separation. Nevertheless, conventional TasNets struggle to satisfy the memory and latency constraints in industrial applications. In this regard, we design a low-cost high-performance architecture, namely, globally attentive locally recurrent (GALR) network. Alike the dual-path RNN (DPRNN), we first split a feature sequence into 2D segments and then process the sequence along both the intra- and inter-segment dimensions. Our main innovation lies in that, on top of features recurrently processed along the inter-segment dimensions, GALR applies a self-attention mechanism to the sequence along the inter-segment dimension, which aggregates context-aware information and also enables parallelization. Our experiments suggest that GALR is a notably more effective network than the prior work. On one hand, with only 1.5M parameters, it has achieved comparable separation performance at a much lower cost with 36.1% less runtime memory and 49.4% fewer computational operations, relative to the DPRNN. On the other hand, in a comparable model size with DPRNN, GALR has consistently outperformed DPRNN in three datasets, in particular, with a substantial margin of 2.4dB absolute improvement of SI-SNRi in the benchmark WSJ0-2mix task.

研究の動機と目的

• 産業応用における既存の時域音声分離モデルの高いメモリ使用量と遅延を低減すること。
• TasNetsにおける長序列列モデリングを、RNNと自己注意メカニズムの長所を組み合わせることで改善すること。
• 計算およびメモリのオーバーヘッドを低減しつつ、高い分離性能を維持できるコンactなアーキテクチャを設計すること。
• 自己注意メカニズムが音声系列におけるグローバルな長距離依存関係をモデル化する上でRNNよりも優れていることを検証すること。
• 音声・音楽分離を含む多様なデータセットにおいて一貫した性能向上を示すこと。

提案手法

• GALRアーキテクチャは、入力波形を2次元セグメントに分割し、セグメント内次元に沿って局所的再帰処理を適用して短期的依存関係をモデル化する。
• セグメント間次元に沿って再帰ネットワークを用いて、セグメント間の逐次的文脈を捉える。
• セグメント間の系列に自己注意機構を適用し、文脈に即した長距離依存関係を並列に集約する。
• 時間領域損失を生波形上で直接最適化するために、順列不変訓練（PIT）を活用する。
• DPRNNなどの先行モデルと比較して、FLOPsとメモリ使用量が削減された、パラメータ効率の良いアーキテクチャである。
• グローバルな注意の並列処理を維持しつつ局所的再帰を保ち、モデル化能力と効率性のバランスを図る。

Fig. 1 : Upper: a 4s raw waveform mixture of two overlapping utterances; Lower: zooming in on the 385th segment around the lateral phoneme of /l/.

実験結果

リサーチクエスチョン

• RQ1 標準的な自己注意の2次関数的複雑度に起因する課題を克服しつつ、自己注意を長時間音声系列に効果的に適用できるか。
• RQ2 局所的再帰とグローバルな自己注意を組み合わせることで、RNNのみのアプローチと比較して長距離依存関係のモデル化が向上するか。
• RQ3 コンパクトなモデルが、DPRNNなどの最先端ベースラインと比較して顕著に少ないFLOPsとメモリ使用量で優れた性能を達成できるか。
• RQ4 本稿で提案するアーキテクチャは、音声・音声混合および音声・音楽混合を含む多様な分離タスクでどのように性能を発揮するか。
• RQ5 自己注意メカニズムは、音声信号における遠く離れた文脈的情報を捉える上でRNNよりも優れているか。

主な発見

• GALRは、DPRNNと比較してパラメータ数が少ないにもかかわらず、WSJ0-2mixデータセットで2.4 dBのSI-SNRi絶対値向上を達成した。
• わずか150万パラメータで、DPRNNと比較してFLOPsを49.4%削減、ランタイムメモリを36.1%削減しながら、同等の性能を維持した。
• より大きなLibri-2mixデータセットでは、GALRは230万対260万パラメータの小型モデルで、SI-SNRiとSDRiの両方でDPRNNを0.2 dB上回った。
• 音声・音楽混合分離のタスクでは、GALRはSI-SNRiとSDRiの両方でDPRNNを1.4 dB上回り、困難な状況下でも優れたロバスト性を示した。
• 3つのデータセットすべてでGALRはDPRNNを上回り、グローバルな自己注意が長距離系列モデリングに有効であることを確認した。
• 結果から、特に遠く離れた依存関係が重要な場合、自己注意メカニズムがRNNよりも音声系列におけるグローバルな文脈をモデル化するのに適していることが示された。

Fig. 2 : Left: the overall architecture of our GALR network. Right: detailed illustration about how the intra- and inter-segment sequences are processed in the locally recurrent layer (lower right) and the globally attentive layer (upper right) inside each GALR block, respectively.