[論文レビュー] FurcaNet: An end-to-end deep gated convolutional, long short-term memory, deep neural networks for single channel speech separation

Ziqiang Shi, Huibin Lin+5 more|arXiv (Cornell University)|Feb 2, 2019

Speech and Audio Processing参考文献 25被引用数 15

ひとこと要約

FurcaNet は、原始音声波形を直接処理するエンド・ツー・エンドのディーブラーニングモデルであり、ゲート付き畳み込みネットワーク（GCNN）、双方向LSTM（BiLSTM）、および深層ニューラルネットワーク（DNN）を組み合わせたものである。時間領域で学習し、パーミュテーション不変訓練（PIT）を用いて発話単位の信号対歪み比（SDR）を最適化することで、WSJ0-2mix データセットで13.3 dB のSDR向上を達成し、先行する最先端手法を上回り、STFTに基づく性能の上限をも超えた。

ABSTRACT

Deep gated convolutional networks have been proved to be very effective in single channel speech separation. However current state-of-the-art framework often considers training the gated convolutional networks in time-frequency (TF) domain. Such an approach will result in limited perceptual score, such as signal-to-distortion ratio (SDR) upper bound of separated utterances and also fail to exploit an end-to-end framework. In this paper we present an integrated simple and effective end-to-end approach to monaural speech separation, which consists of deep gated convolutional neural networks (GCNN) that takes the mixed utterance of two speakers and maps it to two separated utterances, where each utterance contains only one speaker's voice. In addition long short-term memory (LSTM) is employed for long term temporal modeling. For the objective, we propose to train the network by directly optimizing utterance level SDR in a permutation invariant training (PIT) style. Our experiments on the public WSJ0-2mix data corpus demonstrate that this new scheme can produce more discriminative separated utterances and leading to performance improvement on the speaker separation task.

研究の動機と目的

• STFTに基づく音声分離手法の限界を解決する。これは、位相のずれや不適切な信号変換により、SDR性能に上限が課されるためである。
• 中間の時間周波数ドメイン表現を避けるために、原始音声波形を直接処理する完全なエンド・ツー・エンドフレームワークを構築すること。
• マスクベースや埋め込みベースの損失関数に依存せず、知覚的指標（例：SDR）を最適化することで、音声分離性能を向上させること。
• SDR最適化における訓練の不安定性を克服するため、局所的最小値から脱出するための再初期化に基づく訓練テクニックを導入すること。
• GCNNとBiLSTMを組み合わせたエンド・ツー・エンドの時間領域学習が、クリーンおよびノイズ混在条件下でSTFTベースのベースラインを上回ることを示すこと。

提案手法

• 5段の1次元ゲート付き畳み込み層（GConv）をスタックし、カーネルサイズを80および1000に設定。訓練の安定化のため、層ごとの正則化を適用。
• GCNNの後続に、各方向に1000ユニットを持つ双方向LSTM（BiLSTM）層を適用し、長期的な時系列モデリングを実現。
• 最終表現を処理する2層のDNN（各層2000ニューロン）を用いて、2つの分離済み音声波形を出力。
• 損失関数としてパーミュテーション不変SDR（uSDR）を採用。訓練中は、最も性能の良いスピーカー順列の負のSDRを最小化する。
• 訓練テクニックとして、検証セットでの初期SDRがしきい値（例：-30 dB）を超える場合にのみ、ネットワークを再初期化・再訓練する。これにより、局所的最小値に陥るのを回避。
• Adam最適化法を用い、学習率を段階的に減衰させる。ミニバッチサイズは8発話とする。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの時間領域音声分離モデルは、SDR性能においてSTFTベースの手法を上回ることができるか？
• RQ2 ゲート付き畳み込みネットワークと双方向LSTMを組み合わせることで、局所的および長距離の時系列依存性を効果的に捉え、音声分離性能が向上するか？
• RQ3 パーミュテーション不変訓練を用いて発話単位のSDRを直接最適化することで、マスクベースやクラスタリングベースの手法よりも優れた分離品質が得られるか？
• RQ4 SDRが微分不能で不安定であるという点を踏まえ、SDR最適化ネットワークを効果的に訓練することは可能か？
• RQ5 提案されたアーキテクチャは、未知の話者に対しても一般化でき、話者に依存しない性能を達成できるか？

主な発見

• FurcaNet は、WSJ0-2mix データセットで13.3 dB のSDR向上を達成し、先行する最先端手法（Chimera++、12.0 dB）を著しく上回った。
• モデルはSTFTベース手法の上限を破った。STFTベース手法の上限は、理想比マスク（IRM）性能の12.7 dB SDRi に制限されていた。
• uSDR損失関数に加え、再初期化に基づく訓練テクニックを適用することで、局所的最小値に陥るのを回避し、より高いSDR値への収束が可能になった。
• エンド・ツー・エンドの時間領域アプローチにより、STFT、位相仮定、逆STFTの必要性がなくなり、近似誤差が低減され、知覚的品質が向上した。
• GCNN、BiLSTM、DNNを統合したアーキテクチャにより、混合音声内のスペクトル的および時系列的構造の効果的モデリングが可能になった。
• モデルは未知の話者に対しても頑健であり、話者に依存しない一般化能力を確認した。