[論文レビュー] TasNet: time-domain audio separation network for real-time, single-channel speech separation

Yi Luo, Nima Mesgarani|arXiv (Cornell University)|Nov 1, 2017

Speech and Audio Processing参考文献 19被引用数 37

ひとこと要約

TasNetは、STFTに基づく時間周波数表現を回避し、時間領域のエンコーダデコーダフレームワークを用いて生波形に直接処理を行う、リアルタイムで単一チャネル音声分離を実現するシステムを提案する。信号を学習された基本信号の非負の組み合わせとしてモデル化し、エンコーダ出力に対するソースマスクを推定することで、合計遅延がたった5.23 msという非常に低遅延で最先端の性能を達成した。これは因果的および非因果的設定の両方で、STFTベースの手法を顕著に上回っている。

ABSTRACT

Robust speech processing in multi-talker environments requires effective speech separation. Recent deep learning systems have made significant progress toward solving this problem, yet it remains challenging particularly in real-time, short latency applications. Most methods attempt to construct a mask for each source in time-frequency representation of the mixture signal which is not necessarily an optimal representation for speech separation. In addition, time-frequency decomposition results in inherent problems such as phase/magnitude decoupling and long time window which is required to achieve sufficient frequency resolution. We propose Time-domain Audio Separation Network (TasNet) to overcome these limitations. We directly model the signal in the time-domain using an encoder-decoder framework and perform the source separation on nonnegative encoder outputs. This method removes the frequency decomposition step and reduces the separation problem to estimation of source masks on encoder outputs which is then synthesized by the decoder. Our system outperforms the current state-of-the-art causal and noncausal speech separation algorithms, reduces the computational cost of speech separation, and significantly reduces the minimum required latency of the output. This makes TasNet suitable for applications where low-power, real-time implementation is desirable such as in hearable and telecommunication devices.

研究の動機と目的

• STFTベースの音声分離における、位相とマグニチュードの分離、および長い時間窓に起因する高遅延といった制限を解消すること。
• 聞取機器や通信機器に適したリアルタイムで低遅延な音声分離を実現すること。
• 時間領域のニューラルネットワークによる生波形の直接モデリングが、周波数領域のアプローチを上回る可能性があるかを検証すること。
• STFTおよび逆STFT処理の必要性を排除することで、計算コストを低減し、分離性能を向上させること。

提案手法

• システムは、学習された基本信号を用いて生波形を非負の重み付き表現に変換する1次元畳み込みエンコーダを用いる。
• ソース分離は、エンコーダ出力に対するソースマスクを推定することで実現され、それぞれの話者の混合信号への寄与度が表れる。
• 1次元の転置畳み込みデコーダが、マスク処理を施したエンコーダ出力から分離波形を再構成する。
• ネットワークは、再構成波形に対するL1損失を用いた非負のオートエノコーダフレームワークで訓練される。
• 因果的推論には単方向LSTMを、非因果的推論には性能向上のための双方向LSTMを用いる。
• 基本信号はエンドツーエンドで学習され、メルフィルターバンクに類似した周波数応答を示し、低周波数領域での分解能が高くなる。

実験結果

リサーチクエスチョン

• RQ1 生波形の直接的時間領域モデリングが、性能と遅延の面で従来のSTFTベースの音声分離を上回ることができるか？
• RQ2 STFTステップを排除することで、位相関連のアーティファクトが低減され、分離品質が向上するか？
• RQ3 時間領域システムが、補聴器や通信機器に適したリアルタイム処理を最小遅延で達成できるか？
• RQ4 学習された基本信号表現は、従来のフィルターバンクと比較して、スペクトル分解能および話者分離能力においてどのように異なるか？
• RQ5 非負のエンコーダ出力が、ソースマスク推定の安定性と性能に与える影響は何か？

主な発見

• TasNet-LSTMはWSJ0-2mixデータセットでSI-SNRiが7.7 dB、SDRiが8.0 dBを達成し、先行する因果的システム（uPIT-LSTM）をSI-SNRiで0.7 dB上回った。
• TasNet-BLSTMはSI-SNRiが10.8 dB、SDRiが11.1 dBを達成し、uPIT-BLSTM-STのような二段階処理を含むすべての先行システムを上回った。
• TasNet-LSTMの合計システム遅延はわずか5.23 msであり、5 msの初期遅延と1セグメントあたり0.23 msの処理時間から構成されており、STFTベースのシステムが最低32 msを要するのと比べ顕著に低い。
• TasNetが学習した基本信号は連続的な周波数応答を示し、低周波数領域に高い分解能を持つ。60%の基本信号が1 kHz未満の中心周波数を持つ。
• TasNetは、1つのTitan X GPU上で1セグメントあたり0.23 ms未満の処理時間で、最先端のSTFTベースのシステムと比較して6倍の高速化を達成した。
• TasNetは、再帰的ドロップアウトや後処理のクラスタリング手順といった正則化手法を用いずとも優れた性能を達成しており、アーキテクチャ自体の本質的な頑健性を示している。