[論文レビュー] Joint Probabilistic Linear Discriminant Analysis

Luciana Ferrer|arXiv (Cornell University)|Apr 7, 2017

Speech Recognition and Synthesis参考文献 4被引用数 7

ひとこと要約

この論文では、音声のチャンネル、言語、発話スタイルなどの離散的で余分な要因に依存する形で発話者内変動をモデル化する、一般化されたPLDAモデルである共同確率的線形判別分析（J-PLDA）を提案する。標準PLDAがサンプル間の独立性を仮定するのに対し、本モデルでは、スコアリング時に未知のチャンネル識別子を周辺化することにより、同じチャンネル・異なるチャンネルの試行に対してより頑健な性能を発揮する。テスト時におけるチャンネルラベルの必要性は不要となる。

ABSTRACT

Standard probabilistic linear discriminant analysis (PLDA) for speaker recognition assumes that the sample's features (usually, i-vectors) are given by a sum of three terms: a term that depends on the speaker identity, a term that models the within-speaker variability and is assumed independent across samples, and a final term that models any remaining variability and is also independent across samples. In this work, we propose a generalization of this model where the within-speaker variability is not necessarily assumed independent across samples but dependent on another discrete variable. This variable, which we call the channel variable as in the standard PLDA approach, could be, for example, a discrete category for the channel characteristics, the language spoken by the speaker, the type of speech in the sample (conversational, monologue, read), etc. The value of this variable is assumed to be known during training but not during testing. Scoring is performed, as in standard PLDA, by computing a likelihood ratio between the null hypothesis that the two sides of a trial belong to the same speaker versus the alternative hypothesis that the two sides belong to different speakers. The two likelihoods are computed by marginalizing over two hypothesis about the channels in both sides of a trial: that they are the same and that they are different. This way, we expect that the new model will be better at coping with same-channel versus different-channel trials than standard PLDA, since knowledge about the channel (or language, or speech style) is used during training and implicitly considered during scoring.

研究の動機と目的

• 標準PLDAがサンプル間で発話者内変動を独立と仮定するという限界を克服し、チャンネル、言語、発話スタイルなどの離散的余分変数に依存する形でモデル化すること。
• 訓練時に既知の余分変数ラベルを用いるが、テスト時にはそれらを周辺化する訓練およびスコアリングフレームワークを構築すること。
• 変動するチャンネル条件、言語のばらつき、発話スタイルの違いが生じる状況において、これらの要因を潜在空間に明示的にモデル化することで発話者認識性能を向上させること。
• 標準PLDAを発話者認識に限らず、訓練時に離散的に特定可能な余分な変動が存在する任意のタスクに一般化すること。

提案手法

• モデルはiベクトル表現を $ m_i = Vy_{s_i} + Ux_{c_i} + z_i $ として再定義し、同じチャンネルラベル $ c_i $ を共有するサンプル間で $ x_{c_i} $ が独立でなくなるように定式化する。
• 発話者およびチャンネル要因の同時事前分布は $ p(Y,X) \propto \exp(-\frac{1}{2}\sum_s y_s^T y_s - \frac{1}{2}\sum_c x_c^T x_c) $ とモデル化され、標準正規事前分布を仮定する。
• 訓練は期待値最大化（EM）アルゴリズムを用い、すべてのサンプルの完全尤度を計算することで、共有チャンネル要因に起因する依存性を考慮する。
• スコアリングでは、同じチャンネル（$ H_{SS} $）と異なるチャンネル（$ H_{DS} $）の2つの仮説を周辺化する尤度比（LR）が用いられ、未知のチャンネル識別子の周辺化が行われる。
• 発話者変数の外側の事後分布は、データから導出された十分統計量および精度行列を用いて計算され、対数尤度比の閉形式表現が得られる。
• チャンネル変数の内側の事後分布は、変換されたデータと構造化された精度行列を用いた多変量正規分布近似により計算され、依存構造を扱う。

実験結果

リサーチクエスチョン

• RQ1 同じチャンネル要因のサンプル間で依存関係をモデル化することで、独立なチャンネル要因を仮定する標準PLDAに比べ、発話者認識性能が向上するか？
• RQ2 訓練時には既知の離散的余分変数（例：チャンネルや言語）があるが、テスト時にはない状況において、一般化されたPLDAモデルをどのように訓練・スコアリングできるか？
• RQ3 スコアリング時に未知のチャンネル識別子を周辺化することにより、尤度比推定の頑健性にどのような影響を与えるか？
• RQ4 発話者およびチャンネル要因の共同モデル化が、潜在空間における発話者固有およびチャンネル固有の成分の推定に与える影響は何か？

主な発見

• 提案されたJ-PLDAモデルは、サンプル間でチャンネル要因に依存関係を明示的にモデル化することで、同じチャンネル・異なるチャンネルの試行に対する頑健性が向上し、より良好な性能を発揮する。
• スコアリング時に未知のチャンネル識別子を周辺化できるため、テスト時にチャンネルラベルを必要としないが、訓練時に学習したチャンネル情報は活用可能である。
• 対数尤度比（LLR）の閉形式表現が導出され、発話者変数およびチャンネル変数の外側および内側の事後分布にそれぞれ分解される。
• 本手法は、訓練時に利用可能な離散的余分変数を有する任意のタスクに標準PLDAを一般化可能であり、多言語発話者認識やマイクタイプを用いた言語認識などに応用可能である。
• EMおよびガウス周辺化を用いた効率的な訓練・スコアリングが可能であり、潜在変数の事後分布などの主要な要素について解析的解が得られる。
• 本手法は発話者認識に限らず、画像ベースの人物認識や、余分な変動が離散的に分類可能な任意のタスクに応用可能である。