[論文レビュー] Monaural Audio Speaker Separation with Source Contrastive Estimation

Cory Stephenson, Patrick Callier+2 more|arXiv (Cornell University)|May 12, 2017

Speech and Audio Processing参考文献 12被引用数 4

ひとこと要約

本稿では、深層双方向LSTMを用いて話者特徴を対照的ベクトル空間に埋め込む、モノラル話者分離手法であるソース対照推定（SCE）を提案する。対照的損失を最適化することで、自然言語処理におけるネガティブサンプリングに類似した方法で話者を分離するが、これにより、セット内混合音声では7.69 dB、セット外混合音声では7.14 dBのSIR向上を達成し、従来の深層学習ベースラインと比較して45%高速な学習を実現した。

ABSTRACT

We propose an algorithm to separate simultaneously speaking persons from each other, the "cocktail party problem", using a single microphone. Our approach involves a deep recurrent neural networks regression to a vector space that is descriptive of independent speakers. Such a vector space can embed empirically determined speaker characteristics and is optimized by distinguishing between speaker masks. We call this technique source-contrastive estimation. The methodology is inspired by negative sampling, which has seen success in natural language processing, where an embedding is learned by correlating and de-correlating a given input vector with output weights. Although the matrix determined by the output weights is dependent on a set of known speakers, we only use the input vectors during inference. Doing so will ensure that source separation is explicitly speaker-independent. Our approach is similar to recent deep neural network clustering and permutation-invariant training research; we use weighted spectral features and masks to augment individual speaker frequencies while filtering out other speakers. We avoid, however, the severe computational burden of other approaches with our technique. Furthermore, by training a vector space rather than combinations of different speakers or differences thereof, we avoid the so-called permutation problem during training. Our algorithm offers an intuitive, computationally efficient response to the cocktail party problem, and most importantly boasts better empirical performance than other current techniques.

研究の動機と目的

• 1つのマイクロホンでの音声分離において、空間的・時間的ヒントが不十分なコctail party問題に対処する。
• トレーニング中に話者順序に依存しないようにすることで、話者分離における順列問題を克服する。
• 再トレーニングなしで未観測話者に一般化可能な話者に依存しない埋め込み空間を開発する。
• 順列不変トレーニング（PIT）やディープクラスタリングと比較して、計算コストを低減しつつ性能を向上させる。
• 未観測のセット外話者を含む多様な話者コンビネーションにおいて、重なり合う話者の分離を強力に実現する。

提案手法

• 1. 時間周波数特徴を高次元埋め込み空間にマップするための双方向LSTMを訓練し、ソース対照推定（SCE）によって最適化する。
• 2. 同一話者の埋め込みを近づけ、異なる話者の埋め込みを遠ざける対照的損失関数を適用する。
• 3. ネガティブサンプリングに類似した戦略を採用：各ターゲット話者埋め込みに対して、バッチ内他の話者の埋め込みとの類似度を最小化する。
• 4. 詳細なスペクトル特徴とマスクを重み付けして使用することで、話者固有の周波数成分を強化する。
• 5. デプロイ時においては、学習済みの埋め込み重みのみを用いることで、推論を話者IDから分離し、話者に依存しないことを保証する。
• 6. 話者ペアの順列に依存してトレーニングしないことで順列問題を回避する。代わりに、対照的損失により、話者の内因的特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 1. 対照的学習アプローチは、従来のディープクラスタリングやPITベース手法を上回るモノラル話者分離性能を実現できるか？
• RQ2 2. ソース対照推定による話者に依存しない埋め込み空間のトレーニングは、セット外話者への一般化を向上させるか？
• RQ3 3. 対照的損失関数は、順列不変トレーニングやクラスタリングベース手法と比較して、計算オーバーヘッドを低減できるか？
• RQ4 4. 本手法は、セット内およびセット外話者混合音声において、ベースラインと比較してどの程度SIR向上を達成するか？
• RQ5 5. 本手法は、2話者混合音声でのみトレーニングされたにもかかわらず、3話者混合音声においてどの程度の性能を示すか？

主な発見

• 1. 提案手法SCEは、セット内混合音声（f+f, m+m, f+m, およびすべて）で7.69 dBのSIR向上を達成し、ディープクラスタリング（7.17 dB）やPIT-S-CNN（5.69 dB）を上回った。
• 2. セット外話者混合音声では、SCEが7.14 dBのSIR向上を達成し、ディープクラスタリング（6.66 dB）やPIT-S-CNN（5.58 dB）を上回った。
• 3. 3話者混合音声では、セット外コンビネーションでSCEが4.37 dBのSIR向上を達成し、2話者学習にかかわらず強力な一般化性能を示した。
• 4. SCEは、ディープクラスタリングと比較して55%、PIT-S-CNNと比較して46%の学習時間を短縮し、Titan X GPU上でのバッチ推論時間は0.21秒であった。
• 5. 男女混合および同性混合の両方で一貫した性能を維持し、男性同士混合では5.48 dB、女性同士混合では5.33 dBのSIRを達成した。
• 6. 低次元への投影で可視化した結果、対照的損失関数がベクトル空間内で話者埋め込みを効果的に分離しており、各話者ごとに明確なクラスタリングが観察された。