[論文レビュー] Generalized End-to-End Loss for Speaker Verification

Li Wan, Quan Wang+2 more|arXiv (Cornell University)|Oct 28, 2017

Speech Recognition and Synthesis参考文献 13被引用数 28

ひとこと要約

この論文は、初期のタプル選択を必要とせず、動的に難しい例に注目することで、トレーニング効率と性能を向上させる、スピーカーバリデーションのための一般化されたエンドツーエンド（GE2E）損失を導入する。この手法により、従来のTE2E損失と比較してEERが10%以上低下し、トレーニング時間を60%短縮する。また、MultiReaderにより、複数のキーワードや方言における統合的トレーニングが可能になり、多分野への耐性のあるモデルが実現される。

ABSTRACT

In this paper, we propose a new loss function called generalized end-to-end (GE2E) loss, which makes the training of speaker verification models more efficient than our previous tuple-based end-to-end (TE2E) loss function. Unlike TE2E, the GE2E loss function updates the network in a way that emphasizes examples that are difficult to verify at each step of the training process. Additionally, the GE2E loss does not require an initial stage of example selection. With these properties, our model with the new loss function decreases speaker verification EER by more than 10%, while reducing the training time by 60% at the same time. We also introduce the MultiReader technique, which allows us to do domain adaptation - training a more accurate model that supports multiple keywords (i.e. "OK Google" and "Hey Google") as well as multiple dialects.

研究の動機と目的

• エンドツーエンドスティーラーバリデーションモデルをトレーニングするための、より効率的で効果的な損失関数の開発。
• トレーニングにおける初期の例選択段階を排除することで、トレーニングパイプラインの単純化を図ること。
• 最適化中に識別が難しい例に注目することで、モデルの一般化性能を向上させること。
• 複数キーワード（例：'OK Google'、'Hey Google'）および複数方言のスティーラーバリデーションにおけるドメイン適応を可能にすること。
• テキスト依存およびテキスト非依存の両設定において、トレーニング時間を短縮しながら、識別精度を向上させること。

提案手法

• GE2E損失は、N人のスティーラー各々がM件の発話を持つバッチを処理し、大規模な最適化を効率的に行う。
• 各スティーラーについて、L2正規化された埋め込みの平均として、そのM件の発話埋め込みの重心が計算される。
• 損失関数は、評価発話埋め込みとスティーラー重心との間のコサイン類似度を用い、学習可能なスケーリングおよびシフトパラメータを備える。
• 損失は、正のタプル（同一スティーラー）は類似度を高く、負のタプル（異なるスティーラー）は類似度を低くするように、正と負のタプル損失の重み付き和として定義される。
• GE2E損失は、各バッチ内で最も曖昧または困難な比較に基づいて、動的に難しい例に注目する。
• MultiReader技術により、複数のデータソース（例：'OK Google' と 'Hey Google'）間の統合的トレーニングが可能となり、データソースの不均衡を考慮した共有埋め込み空間が学習される。

実験結果

リサーチクエスチョン

• RQ1 明示的な例選択を要しない一般化されたエンドツーエンド損失関数は、スティーラーバリデーションにおけるトレーニング効率とモデル精度を向上させることができるか？
• RQ2 テキスト依存およびテキスト非依存の両設定において、GE2E損失は従来のTE2E損失と比較してEERおよびトレーニング速度の点でどのように異なるか？
• RQ3 MultiReader技術は、サイズや分布が異なる複数のデータソースを効果的に統合し、複数キーワードおよび複数方言のスティーラーバリデーションにおけるモデルの耐性を向上させることができるか？
• RQ4 GE2E損失は、トレーニング中に難しい例に注目することで、より良い一般化性能を達成するか？
• RQ5 GE2EとMultiReaderの組み合わせは、実世界のスティーラーバリデーションシナリオにおいて、EERとトレーニング時間をどの程度低減するか？

主な発見

• GE2E損失は、テキスト依存およびテキスト非依存の両タスクにおいて、TE2Eベースラインと比較してスティーラーバリデーションの等誤差率（EER）を10%以上低減した。
• GE2Eを用いたトレーニングは、TE2Eと比較して約60%高速であり、トレーニング効率が顕著に向上した。
• MultiReader技術は、4つのテストケース（例：'OK Google'の登録と'Hey Google'の検証）すべてで約30%の相対的EER改善を達成した。
• テキスト非依存スティーラーバリデーションでは、GE2EがEER 3.55%を達成し、TE2E（4.13%）およびSoftmax（4.06%）を10%以上の相対的改善で上回った。
• 18,000人のスティーラーからなる3600万件の発話を用いてトレーニングされたGE2Eモデルは、収束が早く、一般化性能に優れ、TE2Eと比較してトレーニング速度が約3倍速かった。
• GE2EとMultiReaderの組み合わせにより、トレーニングデータソースが著しく不均衡であっても、複数のキーワードおよび方言を一度のモデルで高精度にサポートできるようになった。