[論文レビュー] Atss-Net: Target Speaker Separation via Attention-based Neural Network

Tingle Li, Qingjian Lin+2 more|arXiv (Cornell University)|May 19, 2020

Speech and Audio Processing参考文献 32被引用数 5

ひとこと要約

本稿では、自己注意メカニズムを用いて長距離依存関係をモデル化し、並列計算を可能にすることで、スペクトログラム領域でターゲット話者の分離を実行する注目型ニューラルネットワーク、Atss-Netを提案する。モデルは、LibriSpeechで9.30 dBのSDRを達成し、SOTA性能を発揮しており、VoiceFilterと比較して50%少ないパラメータ（4.68M vs. 9.45M）を用いている。また、音楽やボーカル背景を含む複雑なノイズ環境下でも、音声強調において優れた汎化性能を示している。

ABSTRACT

Recently, Convolutional Neural Network (CNN) and Long short-term memory (LSTM) based models have been introduced to deep learning-based target speaker separation. In this paper, we propose an Attention-based neural network (Atss-Net) in the spectrogram domain for the task. It allows the network to compute the correlation between each feature parallelly, and using shallower layers to extract more features, compared with the CNN-LSTM architecture. Experimental results show that our Atss-Net yields better performance than the VoiceFilter, although it only contains half of the parameters. Furthermore, our proposed model also demonstrates promising performance in speech enhancement.

研究の動機と目的

• ターゲット話者の参照発話のみが利用可能な、ノイズが多く複数話者がいる環境におけるターゲット話者分離の課題に対処すること。
• 従来のCNN-LSTMアーキテクチャの限界（逐次的処理と高いパラメータ数）を、並列処理とモデル複雑度の低減を実現する注目メカニズムを用いることで克服すること。
• スピーカー埋め込みを補助入力として組み込むことで、ターゲット分離性能だけでなく、多様なノイズ環境下での一般化された音声強調性能の向上が可能かどうかを検討すること。
• 自己注意モジュールがスペクトログラムにおける長距離依存関係をどの程度効果的にモデル化できるかを評価すること。

提案手法

• モデルはスペクトログラム領域で動作し、混合音声のマグニチュードスペクトログラムから初期特徴を2次元畳み込みエンコーダーで抽出する。
• ターゲット話者のスピーカー埋め込みは、テキストに依存しない話者確認システムにより抽出され、時間フレーム全体にわたって複製され、エンコードされたスペクトログラム特徴と連結される。
• 時間的自己注意モジュールを3段積み重ね、各モジュールは2ヘッドの多頭注目と64次元の特徴投影を備え、フレーム間の依存関係をモデル化し、表現を精錬する。
• 注目メカニズムは時間フレームにわたる動的重みを計算し、干渉を抑える一方でターゲット話者の関連部分に注目できるようにする。
• 最終出力はターゲット話者の再構成マグニチュードスペクトログラムであり、元の位相を用いて時間領域に変換される。
• モデルは、初期学習率を固定して0.0001に設定したAdam最適化手法を用い、検証損失が10エポックにわたり改善しない場合は早期停止を行う。

Figure 1: The flow chart of our separation system.

実験結果

リサーチクエスチョン

• RQ1 注目型アーキテクチャは、パラメータ数を減らしながらも、CNN-LSTMモデルを上回るターゲット話者分離性能を達成できるか？
• RQ2 スピーカー埋め込みを補助入力として統合することで、ターゲット分離性能および一般化された音声強調性能が向上するか？
• RQ3 自己注意メカニズムは、再帰的ネットワークと比較して、スペクトログラムにおける長距離依存関係のモデル化をどの程度効果的に実現できるか？
• RQ4 ターゲット話者が背景に存在する（例：音楽や歌唱）状況下で、音声強調タスクにおけるモデルの性能はいかがなものか？

主な発見

• 学習後、Atss-Netは平均SDRが10.56 dBに達し、初期値1.26 dBから9.30 dBの向上を達成。ベースラインのVoiceFilter（7.78 dBの向上）を上回った。
• パラメータ数が4.68百万（VoiceFilterの9.45百万の約半分）と少ないにもかかわらず、優れた分離性能を達成した。
• アブレーションスタディの結果、注目モジュールを削除するとSDR向上がたった3.88 dBにまで低下し、注目メカニズムが性能に果たす重要性が確認された。
• 同じアーキテクチャでパーミュテーション不変訓練（PIT）損失を用いたモデルは8.57 dBのSDRを達成したが、これはAtss-Netの9.30 dBより低く、このタスクにおいてスピーカー埋め込みのガイドランスがPITよりも効果的であることを示している。
• AISHELL-2における音声強調実験では、20 dB SNRでPESQが3.22に達し、VoiceFilterの2.62を上回り、ボーカルおよび音楽的ノイズに対して強い耐性を示した。
• 聴取サンプルの結果、歌唱や音楽を含む複雑な背景下でも、Atss-Netがターゲット話者を効果的に分離できることを確認し、汎化能力の高さを裏付けた。

Figure 2: Model architecture of the Atss-Net.