[論文レビュー] TF-GridNet: Making Time-Frequency Domain Models Great Again for Monaural Speaker Separation

Zhong-Qiu Wang, Samuele Cornell+4 more|arXiv (Cornell University)|Sep 8, 2022

Speech and Audio Processing被引用数 7

ひとこと要約

TF-GridNet は、スペクトロトランスクリプタルパターンをモデル化するため、フレーム内周波数スペクトル、バンド内時間的、およびフルバンド自己注意モジュールを活用した、モノラル・スピーカー分離のための複素時間周波数（T-F）ドメインで動作する新規なマルチパス深層ニューラルネットワークを提案する。複素スペクトルマッピングと新規なミックス一致性損失を用いることで、WSJ0-2mix で 23.4 dB の SI-SDRi を達成し、従来の最先端時間ドメインモデルを上回った。これは、適切に設計された場合、T-Fドメインモデルが時間ドメインモデルを上回ることを示している。

ABSTRACT

We propose TF-GridNet, a novel multi-path deep neural network (DNN) operating in the time-frequency (T-F) domain, for monaural talker-independent speaker separation in anechoic conditions. The model stacks several multi-path blocks, each consisting of an intra-frame spectral module, a sub-band temporal module, and a full-band self-attention module, to leverage local and global spectro-temporal information for separation. The model is trained to perform complex spectral mapping, where the real and imaginary (RI) components of the input mixture are stacked as input features to predict target RI components. Besides using the scale-invariant signal-to-distortion ratio (SI-SDR) loss for model training, we include a novel loss term to encourage separated sources to add up to the input mixture. Without using dynamic mixing, we obtain 23.4 dB SI-SDR improvement (SI-SDRi) on the WSJ0-2mix dataset, outperforming the previous best by a large margin.

研究の動機と目的

• 無響室条件下におけるモノラル・トークスインDEPENDENTなスピーカー分離において、時間ドメインと時間周波数（T-F）ドメインモデルの性能ギャップを埋めること。
• 2019年以降、TasNet が優勢を占める時間ドメインモデルと比較して、T-Fドメインにおける複素スペクトルマッピングが、現代の時間ドメインモデルを上回る可能性があるかどうかを調査すること。
• T-Fスペクトログラムにおける局所的（周波数および時間的）およびグローバル的（フレーム間）依存関係を効果的に捉えることができるマルチパスDNNアーキテクチャを設計すること。
• 分離された音源の和が入力ミックスを再構成することを促進する新しい時間ドメイン損失項を導入し、ソースの一貫性を向上させること。
• T-Fドメインモデルは本質的に劣っているのではなく、アーキテクチャや学習スキームの不適切さが原因で性能が劣っていたにすぎず、本質的制限によるものではないことを示すこと。

提案手法

• TF-GridNet は、3つの並列ブランチで構成されるマルチパスアーキテクチャを採用している：局所的周波数パターンを処理するフレーム内周波数モジュール、短時間の時間的ダイナミクスを処理するバンド内時間モジュール、および長距離のフレーム間依存関係を処理するフルバンド自己注意モジュール。
• モデルは、入力ミックスの実部と虚部（RI）成分を入力特徴として積み重ね、各ターゲットスピーカーのRI成分を予測することで、複素スペクトルマッピングを実行する。
• DPRNN や DPTNet にインspiredされたデュアルパス構造を採用し、周波数バンドと時間フレームを並列処理することで、周波数間およびフレーム間の関係をモデル化する。
• 予測されたソース信号の和が元のミックスに近づくように促進する、新規なミックス一致性損失を導入した。
• 動的ミキシングやデータオーグメンテーションを用いずに、スケール不変信号対歪み比（SI-SDR）損失と新規なミックス一致性損失の両方を用いてモデルを学習した。
• T-Fユニットを効率的に処理するため、Unfold および Deconv1D 操作を用いて、メモリ使用量を抑えつつ、大きな受容 field を実現した。

Fig. 1 : Overview of proposed system.

実験結果

リサーチクエスチョン

• RQ1 時間周波数ドメインにおける複素スペクトルマッピングは、Conv-TasNet や DPRNN といった最先端の時間ドメインモデルを上回ることができるか？
• RQ2 マルチパス T-F モデルにフルバンド自己注意を組み込むことで、長距離の時間的依存関係を捉えることができ、性能が著しく向上するか？
• RQ3 ソースの和が元のミックスに一致するように制約を課す新しい時間ドメイン損失項は、動的ミキシングやデータオーグメンテーションなしで、分離品質を向上させることができるか？
• RQ4 時間ドメインと T-F ドメインモデルの性能ギャップは、アーキテクチャ上の制限によるものであり、本質的な表現能力の差によるものではないか？
• RQ5 複素スペクトルマッピングを備えた適切に設計された T-F モデルは、時間ドメインモデルと比較して、より優れた一般化性能とロバストネスを示すか？

主な発見

• TF-GridNet は、WSJ0-2mix データセットで 23.4 dB の SI-SDRi を達成し、以前の最先端時間ドメインモデル（QDPN）の 22.1 dB SI-SDRi を顕著に上回った。
• 動的ミキシングやデータオーグメンテーションを一切使用せず、アーキテクチャと損失設計の有効性を示した。
• フルバンド自己注意モジュールの導入により、性能は 22.5 dB から 22.9 dB に向上し、4つのアテンションヘッドが1つよりも優れた結果をもたらした。
• モデルサイズの拡大、特に埋め込み次元 D と隠れユニット数 H の増加により、一貫した性能向上が得られ、D=32 および H=256 の場合に 23.4 dB の SI-SDRi を達成した。
• Unfold および Deconv1D 機構により、より大きな受容 field を実現しながらも、メモリ消費量を抑え、D=16 および I=8 の場合でも性能を維持した。
• 新規なミックス一致性損失は、SI-SDRi を 21.6 dB から 21.8 dB に 0.2 dB 向上させ、信号の一貫性を強化する有効性を示した。

Fig. 2 : Proposed full-band self-attention module.