[論文レビュー] Single-Channel Speech Separation with Auxiliary Speaker Embeddings

Shuo Liu, Gil Keren+1 more|arXiv (Cornell University)|Jun 24, 2019

Speech and Audio Processing参考文献 23被引用数 4

ひとこと要約

本論文は、各スピーカーのクリアな文脈録音から導出された補助的スピーカー埋め込みを用いることで、性能を向上させる単一チャネル音声分離モデルを提案する。これらの埋め込みで分離ネットワークを条件づけることで、時間周波数ビンを正しいスピーカーに割り当てる能力が向上し、挑戦的な VoxCeleb データセット上で 4.79 dB の SDR、8.44 dB の SAR、7.11 dB の SIR を達成した。これは、ディープクラスタリングや DaNet といった最先端のベースラインを上回った。

ABSTRACT

We present a novel source separation model to decompose asingle-channel speech signal into two speech segments belonging to two different speakers. The proposed model is a neural network based on residual blocks, and uses learnt speaker embeddings created from additional clean context recordings of the two speakers as input to assist in attributing the different time-frequency bins to the two speakers. In experiments, we show that the proposed model yields good performance in the source separation task, and outperforms the state-of-the-art baselines. Specifically, separating speech from the challenging VoxCeleb dataset, the proposed model yields 4.79dB signal-to-distortion ratio, 8.44dB signal-to-artifacts ratio and 7.11dB signal-to-interference ratio.

研究の動機と目的

• スピーカーの音声特徴が類似している場合の単一チャネル音声分離の課題に対処すること。
• 各スピーカーのクリアな文脈録音から導出されたスピーカー埋め込みを条件として用いることで、音源分離性能を向上させること。
• 明示的なスピーカー固有のリファレンス埋め込みを提供することで、埋め込み空間のクラスタリングにおけるあいまいさを低減すること。
• 各スピーカーのクリアな音声セグメントが利用可能な現実世界の設定で、分離品質を向上させること。
• 大規模で自然な音声データセット上で、既存のディープクラスタリングおよびディープアトラクターネットワークベースラインを上回ること。

提案手法

• 分離ネットワークおよびスピーカー埋め込みサブネットワークの両方で、残差ブロックのスタックを用いる。
• 別個のスピーカー埋め込みサブネットワークが、各スピーカーのクリアな文脈録音を処理し、スピーカー固有の埋め込みを生成する。
• 主な分離ネットワークは混合音声セグメントを処理し、両方のスピーカー埋め込みで条件づけられて、ビンの割り当てをガイドする。
• ネットワークは推定干渉フレームを出力し、中央フレームとの差分から推定ターゲットフレームが得られる。
• モデルはターゲット信号の再構成誤差を最小化するように訓練され、埋め込みを条件入力として用いることで分離精度を向上させる。
• 推論時、同じスピーカー埋め込みを用いて分離を条件づけるため、未観測のスピーカーに対しても頑健な性能を発揮できる。

実験結果

リサーチクエスチョン

• RQ1 クリアな文脈録音から得られる補助的スピーカー埋め込みは、単一チャネル音声分離性能を向上させるか？
• RQ2 スピーカー埋め込みで分離ネットワークを条件づけることで、時間周波数ビンの割り当てにおけるあいまいさはどのように低減されるか？
• RQ3 提案手法は、自然で多様な音声データ上で、ディープクラスタリングおよびディープアトラクターネットワークを上回るか？
• RQ4 スピーカーの音声特徴が類似している場合、スピーカー埋め込みは分離品質をどの程度向上させるか？
• RQ5 短いクリアな文脈録音のみを用いて、未観測のスピーカーに一般化できるか？

主な発見

• 提案モデルは 4.79 dB の信号対歪み比（SDR）を達成し、ディープクラスタリングベースライン（0.84 dB）および DaNet（1.81 dB）を顕著に上回った。
• 8.44 dB の信号対アーチファクト比（SAR）を達成し、ベースラインと比較して優れた音声品質と低減されたアルゴリズム的歪みを示した。
• 7.11 dB の信号対干渉比（SIR）を達成し、干渉を効果的に抑制したが、DaNet がより高い SIR（10.41 dB）を達成しており、ターゲット保持のトレードオフが示唆された。
• 性能向上は、埋め込み空間のクラスタリングに明示的な基準点を提供する補助的スピーカー埋め込みの使用に起因する。
• 大規模な VoxCeleb データセット上で、未観測のスピーカーへの一般化が強く示され、現実世界の設定でも頑健であることが示された。
• 可視化結果から、モデルがターゲットと干渉スピーカーを効果的に分離し、音声の理解可能性を保持するとともにアーチファクトを低減していることが確認された。