[論文レビュー] The distribution of calibrated likelihood-ratios in speaker recognition

David A. van Leeuwen, Niko Brümmer|arXiv (Cornell University)|Apr 3, 2013

Speech Recognition and Synthesis参考文献 14被引用数 8

ひとこと要約

この論文は、話者認識におけるキャリブレーション済みの対数尤度比スコアがガウス分布に従う理論的条件を導出し、非ターゲットスコアがガウス分布である場合、ターゲットスコアも同じ分散で逆の平均を持つガウス分布でなければならないことを示している。本研究では、多様なi-vector PLDAシステムにおいて、ロジスティック回帰と同等のキャリブレーション性能を達成する閉形式線形キャリブレーション手法（CMLG）を提案しており、特にスコア分布が概ねガウス分布に近い場合に有効である。

ABSTRACT

This paper studies properties of the score distributions of calibrated log-likelihood-ratios that are used in automatic speaker recognition. We derive the essential condition for calibration that the log likelihood ratio of the log-likelihood-ratio is the log-likelihood-ratio. We then investigate what the consequence of this condition is to the probability density functions (PDFs) of the log-likelihood-ratio score. We show that if the PDF of the non-target distribution is Gaussian, then the PDF of the target distribution must be Gaussian as well. The means and variances of these two PDFs are interrelated, and determined completely by the discrimination performance of the recognizer characterized by the equal error rate. These relations allow for a new way of computing the offset and scaling parameters for linear calibration, and we derive closed-form expressions for these and show that for modern i-vector systems with PLDA scoring this leads to good calibration, comparable to traditional logistic regression, over a wide range of system performance.

研究の動機と目的

• キャリブレーション済み対数尤度比スコアが話者認識においてガウス分布に従う理論的条件を理解すること。
• キャリブレーション下でのターゲットスコア分布とノンターゲットスコア分布の間の必要な関係を導出すること。
• 反復的最適化を回避するガウス分布を仮定した新しい線形キャリブレーション手法を開発すること。
• 多様なシステム構成において、提案手法の性能を従来のロジスティック回帰と比較すること。

提案手法

• 対数尤度比の自己同一性（idempotence）をコアなキャリブレーション条件として定義：対数尤度比の対数尤度比が元の対数尤度比に等しいこと。
• この自己同一性条件の下でのスコア分布の数学的制約を導出し、ターゲットおよびノンターゲット分布が同じ分散で逆の平均を持つガウス分布でなければならないことを示す。
• 導出された平均と分散の関係を用いて、等誤差率（EER）でパラメータ化された閉形式線形キャリブレーション手法（CMLG）を定式化する。
• i-vector PLDAシステムにこの手法を適用し、$C_{\rm llr}$ および $C_{\rm primary}$ などの指標を用いてキャリブレーション性能を比較する。
• NIST SRE12データを用いて手法の妥当性を検証し、異なる事前確率およびシステム性能下でのロバストネスを評価する。
• 数値積分を用いてガウス分布仮定下で $C_{\rm llr}$ をEERに結びつける関係を導出し、最適化を経ずにEERから直接計算可能にする。

実験結果

リサーチクエスチョン

• RQ1 話者認識において、キャリブレーション済み対数尤度比スコアがどのような条件下でガウス分布に従うのか。
• RQ2 キャリブレーション下で、ターゲットおよびノンターゲットスコア分布の平均と分散の数学的関係は何か。
• RQ3 ガウス分布仮定に基づいて、反復的最適化を必要としない閉形式線形キャリブレーション手法を導出できるか。
• RQ4 提案手法の性能は、異なるシステム構成および事前確率の下でどのように変化するか。
• RQ5 実世界のスコア分布は、理論モデルが要請するガウス分布仮定をどの程度満たしているか。

主な発見

• 非ターゲットスコア分布がガウス分布である場合、キャリブレーション下ではターゲットスコア分布も同じ分散で逆の平均を持つガウス分布でなければならない。
• CMLGキャリブレーション手法は25の条件下で平均 $C_{\rm llr}$ が0.375を達成し、ロジスティック回帰の0.376にほぼ同等の性能を示した。
• 正しい事前確率 $\alpha$ を選択した場合、多様なシステムおよび事前確率下で良好な性能を示し、$C_{\rm primary}$ の結果はロジスティック回帰と同等であった。
• ガウス分布積分を用いた $C_{\rm llr}$ とEERの理論的関係により、最小 $C_{\rm llr}$ からの平均二乗誤差がたった0.006にとどまった。
• 実際のスコア分布はガウス分布仮定を厳密に満たさない（DET曲線が完全に $45^\circ$ ではないが）、i-vector PLDAシステムでは概ねガウス的挙動を示す。
• CMLG手法は非ガウス分布のスコアに対しては推奨されない。これは、閉形式解を得る上でガウス分布仮定に根本的に依存しているためである。