[論文レビュー] Deep Speaker Vector Normalization with Maximum Gaussianality Training

Yunqi Cai, Lantian Li+2 more|arXiv (Cornell University)|Oct 30, 2020

Speech Recognition and Synthesis参考文献 48被引用数 4

ひとこと要約

本稿では、深層正規化フロー（DNF）に基づくスピーカーベクトル正規化のためのMaximum Gaussianity（MG）学習を提案する。最大尤度（ML）学習に依存するのではなく、潜在コードのガウス性を直接最適化することで、スフィアカルなクラス間分布と均一なクラス内分散を強制し、特にコサインスコアリングにおいて顕著な性能向上を達成する。MGアプローチは、ドメイン内（SITW）およびドメイン外（CNCeleb）の両データセットにおいて、MLベースのDNFを上回る性能を発揮し、低データ環境下でも顕著な向上を示す。

ABSTRACT

Deep speaker embedding represents the state-of-the-art technique for speaker recognition. A key problem with this approach is that the resulting deep speaker vectors tend to be irregularly distributed. In previous research, we proposed a deep normalization approach based on a new discriminative normalization flow (DNF) model, by which the distributions of individual speakers are arguably transformed to homogeneous Gaussians. This normalization was demonstrated to be effective, but despite this remarkable success, we empirically found that the latent codes produced by the DNF model are generally neither homogeneous nor Gaussian, although the model has assumed so. In this paper, we argue that this problem is largely attributed to the maximum-likelihood (ML) training criterion of the DNF model, which aims to maximize the likelihood of the observations but not necessarily improve the Gaussianality of the latent codes. We therefore propose a new Maximum Gaussianality (MG) training approach that directly maximizes the Gaussianality of the latent codes. Our experiments on two data sets, SITW and CNCeleb, demonstrate that our new MG training approach can deliver much better performance than the previous ML training, and exhibits improved domain generalizability, particularly with regard to cosine scoring.

研究の動機と目的

• 最大尤度（ML）学習における制限を解決するため、モデルの仮定にもかかわらず線形ガウス性の潜在コードを保証できない点に起因する。
• 潜在コードのガウス性を直接最大化することで、スピーカーベクトル正規化を改善し、理想的なPLDAスコアリングの仮定に整合させる。
• より原理的である訓練基準を用いることで、特に低データまたはドメイン外条件下でも性能と一般化能力を向上させる。
• MG学習がコサインスコアリングにおいてMLベースのDNFを上回ることを示し、データ不一致に対して感受性が低い点を強調する。

提案手法

• DNFモデルが生成する潜在コードのガウス性を直接最大化する新しい訓練基準—Maximum Gaussianity（MG）—を提案する。
• 標準的な最大尤度（ML）目的関数を、ガウス性最適化目的関数に置き換え、Mardiaの多次元尖度などの統計的指標を用いてガウス性を定量化する。
• クラス間およびクラス内分布の両方にMG訓練を適用し、球状の平均分布と均一なクラス内分散を強制する。
• 可逆フローに基づくモデル（DNF）を用いて、分布的性質が向上した正規化潜在コードにスピーカーエンベッディングを変換する。
• 2段階の訓練戦略を採用：まずクラス内分布を正規化し、次にクラス間平均を正規化する。両者ともMG基準に基づく。
• 明示的なエントロピー計算を必要とせず、さまざまな可逆アーキテクチャへの適用を容易にするために、任意の可逆フローアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 DNFベースのスピーカー正規化における潜在コードのガウス性を最大化することで、最大尤度学習を上回る性能向上が達成可能か？
• RQ2 MG学習は、特にコサインスコアリングを用いた場合に、ドメイン外データセットでも一般化性能を向上させるか？
• RQ3 MG学習は、1人あたり2発の発話しか利用できないような低データレジーム下でも性能に与える影響は何か？
• RQ4 MGベースの正規化は、PLDAスコアリングと比較して、コサインスコアリングの有効性をどの程度向上させるか？
• RQ5 MG学習は、同時にクラス内およびクラス間分布の両方に効果的に適用可能か？

主な発見

• MG学習はSITWデータセット上でスピーカー認識性能を顕著に向上させ、ドメイン内テストにおいてEERが31％相対的に低減した。
• CNCelebを用いたドメイン外テストでは、MGベースのDNFがEERを9.3％相対的に低減し、優れたドメイン一般化性能を示した。
• 1人あたり2発の発話しか利用できない状況でも、MG学習は高い性能を維持するが、MLベースのDNFは飽和に達するため、低データ環境下での優れたロバスト性を示した。
• MG正規化ベクトルを用いたコサインスコアリングは、特にドメイン外設定下で、PLDAスコアリングと同等またはそれ以上の性能を達成し、データ不一致への感受性が低くなった。
• MG基準に基づくクラス間およびクラス内分布の統合的正規化が、最も顕著な性能向上をもたらし、分布全体の正則化の重要性を裏付けた。
• MG基準により、明示的なエントロピー計算を必要とせず、さまざまな可逆フローアーキテクチャへの効果的な訓練が可能になった。