[論文レビュー] A Unified Framework for Speech Separation

Fahimeh Bahmaninezhad, Shixiong Zhang+4 more|arXiv (Cornell University)|Dec 17, 2019

Speech and Audio Processing参考文献 42被引用数 4

ひとこと要約

本論文は、スペクトログラムベースと波形ベースのアプローチを1つのアーキテクチャ内で統合する包括的なディープラーニングフレームワークを提案する。両者の違いは、符号化/復号化に使用するカーネル関数のみである。このフレームワークにより、単一およびマルチチャネル設定のエンドツーエンド学習が可能となり、最新の性能を達成するとともに、安定性、メモリ効率、遅延制御の柔軟性が向上した。特に、単一およびマルチチャネル設定の両方において、スペクトログラムベース分離で優れた性能を発揮した。

ABSTRACT

Speech separation refers to extracting each individual speech source in a given mixed signal. Recent advancements in speech separation and ongoing research in this area, have made these approaches as promising techniques for pre-processing of naturalistic audio streams. After incorporating deep learning techniques into speech separation, performance on these systems is improving faster. The initial solutions introduced for deep learning based speech separation analyzed the speech signals into time-frequency domain with STFT; and then encoded mixed signals were fed into a deep neural network based separator. Most recently, new methods are introduced to separate waveform of the mixed signal directly without analyzing them using STFT. Here, we introduce a unified framework to include both spectrogram and waveform separations into a single structure, while being only different in the kernel function used to encode and decode the data; where, both can achieve competitive performance. This new framework provides flexibility; in addition, depending on the characteristics of the data, or limitations of the memory and latency can set the hyper-parameters to flow in a pipeline of the framework which fits the task properly. We extend single-channel speech separation into multi-channel framework with end-to-end training of the network while optimizing the speech separation criterion (i.e., Si-SNR) directly. We emphasize on how tied kernel functions for calculating spatial features, encoder, and decoder in multi-channel framework can be effective. We simulate spatialized reverberate data for both WSJ0 and LibriSpeech corpora here, and while these two sets of data are different in the matter of size and duration, the effect of capturing shorter and longer dependencies of previous/+future samples are studied in detail. We report SDR, Si-SNR and PESQ to evaluate the performance of developed solutions.

研究の動機と目的

• スペクトログラムベースと波形ベースの音声分離を1つのアーキテクチャに統合する包括的なディープラーニングフレームワークの開発。
• 単一チャネルおよびマルチチャネル音声分離の両方において、エンドツーエンド学習を可能にするとともに、Si-SNRを最適化すること。
• マルチチャネル設定における空間特徴量と結合カーネル関数の影響が分離性能に与える影響を調査すること。
• シミュレートされたリバーブ混在WSJ0-2mixおよびLibriSpeech-2mixを含む多様なデータセットにおいて、フレームワークのロバスト性および安定性を評価すること。
• スペクトログラムベースと波形ベースの音声分離パイプラインの間で、性能、メモリ効率、遅延のトレードオフを比較すること。

提案手法

• スペクトログラムまたは生波形入力を処理するために、異なるカーネル関数を用いる共通のエンコーダ-デコーダ構造を採用する。
• マルチチャネル設定における空間特徴抽出のため、結合カーネル関数を採用することで一般化性能とパラメータ効率を向上させる。
• 最適化基準として、スケール不変信号対ノイズ比（Si-SNR）を用いてエンドツーエンド学習を実施する。
• WSJ0-2mixおよびLibriSpeech-2mixの両データセットに対して、空間化されリバーブ混在の音声データをシミュレートして学習を実施する。
• 可変な受容野およびカーネルサイズを用いることで遅延を制御し、最小限の性能低下で低遅延推論を実現する。
• 訓練中に位相が更新されないスペクトログラムベースパイプラインにおいても、再構成段階で混合信号の位相情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 包括的なディープラーニングフレームワークは、1つのアーキテクチャ内でスペクトログラムベースと波形ベースの音声分離を効果的に統合できるか？
• RQ2 空間特徴量学習を含むマルチチャネル音声分離は、単一チャネル設定と比較して性能およびロバスト性に優れているか？
• RQ3 スペクトログラムベースと波形ベースの分離における、メモリ効率、遅延、性能のトレードオフは何か？
• RQ4 異なるネットワーク構造およびハイパーパramータが、分離モデルの安定性および一般化性能に与える影響は何か？
• RQ5 空間特徴抽出に結合カーネル関数を用いることで、マルチチャネル音声分離の性能が向上するか？

主な発見

• 訓練中に位相が更新されないにもかかわらず、スペクトログラムベース分離が単一およびマルチチャネル両設定で波形ベース分離を上回った。
• 提案されたマルチチャネルフレームワークは、SDR、Si-SNR、PESQのすべての評価指標で、単一チャネルベースラインを一貫して上回った。
• スペクトログラムベースモデルは、異なるネットワークアーキテクチャおよびハイパーパramータ設定において、波形ベースモデルよりも高い安定性を示した。
• 包括的なフレームワークは、特に大きなSTFT窓幅（例：L=512）を用いた場合に、メモリ使用量を削減しながらも競争力ある性能を達成した。
• PESQスコアはSDRおよびSi-SNRのトレンドと一致し、すべての評価パイプラインで知覚的品質の向上を確認した。
• 可変なカーネルおよび受容野設定により、性能の著しい低下を伴わず、低遅延推論を実現した。