[論文レビュー] Centroid-based deep metric learning for speaker recognition

Jixuan Wang, Kuan-Chieh Wang+3 more|arXiv (Cornell University)|Feb 6, 2019

Speech Recognition and Synthesis参考文献 24被引用数 10

ひとこと要約

本論文は、エンドツーエンドのスピーカーエンベッディングモデルにおける従来のトリプレット損失を置き換えるために、プロトタイプネットワーク損失（PNL）を用いた重心ベースの深層度画像学習アプローチを提案する。PNLに基づくモデルは、スピーカー検証および識別タスクにおいて、見慣れないスピーカーを含め、両方のスピーカーに対して最先端の性能を達成し、ハイパーパramータの感受性が低く、より高速で安定した学習を実現する。

ABSTRACT

Speaker embedding models that utilize neural networks to map utterances to a space where distances reflect similarity between speakers have driven recent progress in the speaker recognition task. However, there is still a significant performance gap between recognizing speakers in the training set and unseen speakers. The latter case corresponds to the few-shot learning task, where a trained model is evaluated on unseen classes. Here, we optimize a speaker embedding model with prototypical network loss (PNL), a state-of-the-art approach for the few-shot image classification task. The resulting embedding model outperforms the state-of-the-art triplet loss based models in both speaker verification and identification tasks, for both seen and unseen speakers.

研究の動機と目的

• 低リソース環境における見慣れないスピークァー認識の性能ギャップを是正すること。
• プロトタイプネットワーク損失（PNL）を活用して、少サンプルスピークァー認識における一般化性能を向上させること。
• エンドツーエンドのスピークァー・エンベッディングモデルにおいて、検証および識別タスクの両方でPNLとトリプレット損失（TL）を比較すること。
• PNLの実用的利点、例えばハイパーパramータの感受性の低減や高速な学習を評価すること。
• PNLベースのモデルが、登録データが限られた状況でも、見慣れないスピークァーに優れた一般化性能を示すことを実証すること。

提案手法

• モデルは再帰的ニューラルネットワークを用いて、音声シーケンスを高次元空間に埋め込み、スピークァーの類似度を距離で測定する。
• プロトタイプネットワーク損失（PNL）は、各スピークァーのサポートサンプルの平均埋め込みとしてクラスプロトタイプを計算する。
• PNLは、各サポートサンプルとそのクラスプロトタイプとの距離を最小化すると同時に、他のプロトタイプとの距離を最大化する。
• 損失関数は、コサイン距離またはユークリッド距離を用いた、埋め込みとそれに対応するプロトタイプ間のブレグマン発散の和として定式化される。
• モデルはPNLを用いてエンドツーエンドで学習され、トリプレットサンプリングやマージンハイパーパラメータαの必要がない。
• 推論時、スピークァーのプロトタイプは登録音声から計算され、閾値との距離比較によって検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプネットワーク損失（PNL）は、見慣れないスピークァーを含め、両方のスピークァー認識タスクにおいて、トリプレット損失（TL）を上回る性能を示せるか？
• RQ2 なぜPNLは、少サンプルスピークァー認識のシナリオにおいて、TLよりも優れた一般化性能を示すのか？
• RQ3 訓練の安定性、速度、ハイパーパラメータ感受性の観点から、PNLはTLと比べてどのように異なるか？
• RQ4 クラスプロトタイプを重心として用いることで、短い音声や低ショット設定における埋め込み品質が向上するか？
• RQ5 元々画像の少サンプル学習を想定して設計されたPNLが、順序付き音声データに対しても効果的に適用可能か？

主な発見

• VoxCeleb2では、PNLモデルが見慣れないスピークァーで66.63%のSI精度を達成したのに対し、コサイン距離を用いたトリプレット損失では59.61%であった。
• VCTKでは、10秒の登録データを用いた場合、PNLモデルが見慣れないスピークァーで10.77%のEERを達成したのに対し、トリプレット損失では13.87%であった。
• VCTKではPNLがEERを2.16ポイント、VoxCeleb2では1.24ポイント低減し、最良のトリプレット損失バージョンよりも顕著に優れた性能を示した。
• PNLの学習は、バッチあたりのペairワイズ計算が削減されたため、トリプレット損失の学習と比較して約3倍速くなった。
• PNLモデルは、ショット数が3～10の範囲で変動しても、一貫した性能を示し、さまざまな少サンプル設定においても安定していた。
• 統計的分析により、PNLが見慣れないスピークァーのシナリオにおいて、TLを顕著に上回ることが確認された（p ≪ 0.001）。