[論文レビュー] Sandglasset: A Light Multi-Granularity Self-attentive Network For Time-Domain Speech Separation

Max W. Y. Lam, Jun Wang+2 more|arXiv (Cornell University)|Mar 1, 2021

Speech and Audio Processing参考文献 18被引用数 4

ひとこと要約

Sandglassetは、時間領域音声分離のための軽量で多スケール自己注意ネットワークを提案する。砂時計型アーキテクチャを用い、層を跨いで時間的スケールを段階的に粗くしてから再び細かくする。わずか230万パラメータで、WSJ0-2mixでは20.8 dB、WSJ0-3mixでは17.1 dBのSOTA水準のSI-SNRiスコアを達成し、従来のSOTAよりそれぞれ0.8 dBおよび2.4 dB向上した。また、最小の先行モデルと比較して、FLOPsを66%、メモリ使用量を58.4%削減した。

ABSTRACT

One of the leading single-channel speech separation (SS) models is based on a TasNet with a dual-path segmentation technique, where the size of each segment remains unchanged throughout all layers. In contrast, our key finding is that multi-granularity features are essential for enhancing contextual modeling and computational efficiency. We introduce a self-attentive network with a novel sandglass-shape, namely Sandglasset, which advances the state-of-the-art (SOTA) SS performance at significantly smaller model size and computational cost. Forward along each block inside Sandglasset, the temporal granularity of the features gradually becomes coarser until reaching half of the network blocks, and then successively turns finer towards the raw signal level. We also unfold that residual connections between features with the same granularity are critical for preserving information after passing through the bottleneck layer. Experiments show our Sandglasset with only 2.3M parameters has achieved the best results on two benchmark SS datasets -- WSJ0-2mix and WSJ0-3mix, where the SI-SNRi scores have been improved by absolute 0.8 dB and 2.4 dB, respectively, comparing to the prior SOTA results.

研究の動機と目的

• 単一チャネル音声分離における固定セグメントサイズモデルの限界を克服し、複数の時間的スケールにわたる階層的モデリングを可能にすること。
• 動的スケールを持つ新規の自己注意アーキテクチャを用いて、時間領域音声分離における文脈モデリングと計算効率を向上させること。
• 既存のSOTAモデルと比較して、モデルサイズと計算コストを削減しながら、分離性能を維持または向上させること。
• 階層的ネットワークのボトルネック層を通過する際に、同じスケールの特徴量間に残差接続を設けることで情報保持に与える影響を調査すること。

提案手法

• ネットワークは、粗くから細かく処理するためのN/2ブロックと、細かくから粗く再構築するためのN/2ブロックを備えた砂時計型アーキテクチャを採用し、多スケール特徴モデリングを可能にする。
• 各ブロックは、特定の時間的スケールで長距離依存性をモデル化するための自己注意機構を適用し、ブロックごとにセグメントサイズを変化させて、音素、音節、語彙を捉える。
• エンコーダーとデコーダーのパス間で、同じスケールの特徴量の間に残差接続を適用することで、情報の保持と勾配消失の緩和を図る。
• モデルは二重パスセグメンテーション戦略を採用し、局所的およびグローバルなシーケンスをRNNの代わりに自己注意で処理することで、グローバルな文脈モデリングを向上させる。
• 一般化性能と収束性を向上させるために、トレーニング後処理として、同一発話者からの発話の動的混合を適用する。
• アーキテクチャは、時間領域損失を用いた語句レベルの順列不変訓練（u-PIT）により、エンドツーエンドの音声分離を学習する。

実験結果

リサーチクエスチョン

• RQ1 固定セグメントサイズアプローチと比較して、多スケール特徴モデリングは時間領域音声分離における文脈表現を向上させるか？
• RQ2 二重パスセグメンテーションフレームワークにおけるグローバルシーケンスの長距離依存性をモデル化する際、自己注意機構はRNNを上回るか？
• RQ3 階層的ネットワークのボトルネック層を通過する際に、同じスケール間の残差接続は情報保持にどのように影響するか？
• RQ4 軽量アーキテクチャは、モデルサイズと計算コストを大幅に削減しながらも、SOTA性能を達成できるか？

主な発見

• Sandglassetは、WSJ0-2mixデータセットで20.8 dBという、SOTA水準のSI-SNRiスコアを達成し、従来のSOTAを0.8 dB上回った。
• WSJ0-3mixデータセットでは、SI-SNRiスコアが17.1 dBに達し、従来のSOTAを2.4 dB向上した。
• モデルはわずか230万パラメータで、これまでに報告された単一チャネル音声分離用で最も軽量なモデルである。
• DPRNN（最小の先行モデル）と比較して、FLOPsを66.0%、メモリ使用量を58.4%削減したが、性能はそれを上回った。
• アブレーションスタディの結果、多スケールモデリングや残差接続を削除すると性能が著しく低下し、それらの重要性が裏付けられた。
• トレーニング後データオーグメンテーション戦略により、性能がさらなる向上を示し、モデル一般化性能の向上に有効であることが示された。