[論文レビュー] Pairwise Discriminative Neural PLDA for Speaker Verification

Shreyas Ramoji, Prashant Krishnan+2 more|arXiv (Cornell University)|Jan 20, 2020

Speech Recognition and Synthesis参考文献 21被引用数 4

ひとこと要約

本論文では、x-vectorを用いた話者確認のための、ペairワイズ判別的ニューラルPLDAモデルを提案する。LDA、正規化などの前処理とスコアリングを同時に学習する。これらの層を微分可能とし、NIST SRE検出コストのソフト近似を最適化することで、PLDAベースライン比でCMN2条件下で30%の相対的改善、VAST条件下で30%の相対的改善を達成し、一般化性能が優れており、過学習が低減されていることを示している。

ABSTRACT

The state-of-art approach to speaker verification involves the extraction of discriminative embeddings like x-vectors followed by a generative model back-end using a probabilistic linear discriminant analysis (PLDA). In this paper, we propose a Pairwise neural discriminative model for the task of speaker verification which operates on a pair of speaker embeddings such as x-vectors/i-vectors and outputs a score that can be considered as a scaled log-likelihood ratio. We construct a differentiable cost function which approximates speaker verification loss, namely the minimum detection cost. The pre-processing steps of linear discriminant analysis (LDA), unit length normalization and within class covariance normalization are all modeled as layers of a neural model and the speaker verification cost functions can be back-propagated through these layers during training. We also explore regularization techniques to prevent overfitting, which is a major concern in using discriminative back-end models for verification tasks. The experiments are performed on the NIST SRE 2018 development and evaluation datasets. We observe average relative improvements of 8% in CMN2 condition and 30% in VAST condition over the PLDA baseline system.

研究の動機と目的

• 判別的バックエンドにおける過学習を、タスク固有の損失関数を用いることで軽減すること。
• 前処理ステップ（LDA、正規化）とスコアリングを統合したエンドツーエンドで学習可能なニューラルアーキテクチャに統合すること。
• 二値交差エントロピーの代わりにNIST SRE検出コストのソフト近似を用いることで、未知のデータに対する一般化性能を向上させること。
• 生成的PLDAからのパラメータ初期化が性能に与える影響を検討すること。
• パラメータ効率の良いニューラルPLDAが、SRE 2018データセットにおいて標準PLDAおよびDPLDAを上回ることを実証すること。

提案手法

• モデルは登録用とテスト用のx-vectorのペアを入力とし、スケーリングされた対数尤度比として解釈されるスコアを出力する。
• 前処理ステップ（LDA、単位長さ正規化、WCCN）が微分可能なニューラルレイヤーとしてモデル化され、パイプライン全体にバックプロパゲーションが可能になる。
• 主な損失関数として、NIST SRE最小検出コスト（C_min）の微分可能なソフト近似が使用され、誤検出の低減を優先する。
• バッチサイズ4096〜8192、検証損失が平らになった際に学習率を減衰させるスケジュールを用いてモデルを学習する。
• ネットワークはランダムに初期化するか、Kaldi PLDAベースラインからのパラメータを用いて初期化し、収束性と性能を向上させる。
• 過学習を防ぐために、構造的制約と損失関数の選択により正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 LDA、正規化、スコアリングを同時に学習するニューラルバックエンドは、標準PLDAと比較して話者確認における一般化性能を向上させることができるか？
• RQ2 二値交差エントロピーではなくNIST SRE検出コストを最適化することで、未知のデータに対する過学習が低減され、性能が向上するか？
• RQ3 生成的PLDAからのパラメータ初期化は、判別的ニューラルPLDAの性能にどのような影響を与えるか？
• RQ4 アーキテクチャ設計と正則化は、判別的話者確認バックエンドにおけるモデル一般化にどのような影響を与えるか？
• RQ5 LDA、正規化、スコアリングを統合した微分可能なニューラルモデルは、SRE 2018ベンチマークにおいて従来のPLDAおよびDPLDAを上回ることができるか？

主な発見

• 提案されたニューラルPLDAモデルは、SRE 2018開発セットにおけるCMN2条件下で、PLDAベースライン比でC_minが10%相対的に改善された。
• VAST条件下では、開発セットでC_minが38%相対的に改善され、強力な一般化性能を示している。
• SRE 2018評価セットでは、CMN2条件下で7%、VAST条件下で23%の相対的改善がPLDAベースラインを上回った。
• ソフト検出コスト損失関数を用いることで、特にドメイン外条件において、二値交差エントロピーに比べてはるかに優れた一般化性能が得られた。
• Kaldi PLDAパラメータからの初期化により、さらに性能が向上した。これは、事前にある生成的知識が判別的学習を強化することを示している。
• パラメータ数が少ないモデルの方がDPLDAよりも一般化性能が優れており、自由度の低減が過学習を緩和することを示唆している。