[論文レビュー] Deep Speaker Vectors for Semi Text-independent Speaker Verification

Lantian Li, Dong Wang+2 more|arXiv (Cornell University)|May 24, 2015

Speech Recognition and Synthesis参考文献 5被引用数 8

ひとこと要約

本論文は、限定されたフレーズのセットに制限された半テキスト独立型話者検証のため、深層ニューラルネットワークを用いて学習されたディープスプーカーベクトル（d-ベクトル）を提案する。音声認識（ASR）システムから得られる電話後報確率をDNN学習に組み込む（電話依存学習）ことで、i-ベクトルベースラインを上回る性能を達成し、特に非線形次元削減とスコア統合を組み合わせることで、最低EER 7.14%を達成した。

ABSTRACT

Recent research shows that deep neural networks (DNNs) can be used to extract deep speaker vectors (d-vectors) that preserve speaker characteristics and can be used in speaker verification. This new method has been tested on text-dependent speaker verification tasks, and improvement was reported when combined with the conventional i-vector method. This paper extends the d-vector approach to semi text-independent speaker verification tasks, i.e., the text of the speech is in a limited set of short phrases. We explore various settings of the DNN structure used for d-vector extraction, and present a phone-dependent training which employs the posterior features obtained from an ASR system. The experimental results show that it is possible to apply d-vectors on semi text-independent speaker recognition, and the phone-dependent training improves system performance.

研究の動機と目的

• テキスト依存型から半テキスト独立型話者検証タスクへ、ディープニューラルネットワークベースのスプーカーベクトル学習（d-ベクトル）を拡張すること。
• ASRから得られる電話後報確率を用いた電話依存学習が、半テキスト独立型状況下でのd-ベクトル性能を向上させるかどうかを調査すること。
• i-ベクトルと比較して、d-ベクトルにおける判別的正規化手法（LDA、PLDA）の有効性を評価すること。
• d-ベクトルとi-ベクトルシステムを組み合わせることで、話者検証性能を向上させられるかを検討すること。
• d-ベクトルは本質的に判別的であるが、線形または非線形次元削減技術から依然として利益を受けるかを評価すること。

提案手法

• 原始音響特徴から話者識別を予測するDNNを訓練し、最終隠れ層の活性化出力をd-ベクトルとして使用する。
• 事前に訓練されたASRシステムから得られる電話後報確率をDNNの入力に連結することで、電話依存学習を導入する。
• d-ベクトル内の冗長性を低減するために、主DNNの直後に小さな隠れ層（100ユニット）を挿入し、非線形次元削減（NLDR）を適用する。
• スコアリングにはコサイン距離、LDA、PLDAを用い、i-ベクトルとd-ベクトルシステムの性能を比較する。
• 重み付き補間を用いてd-ベクトルとi-ベクトルのスコアを統合し、全体のシステム性能を向上させる。
• 多様なフレーズを含む大規模データセットでDNNを訓練し、複数のフレーズタイプを含む半テキスト独立型設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 テキスト依存データで学習されたd-ベクトルは、半テキスト独立型話者検証タスクに効果的に一般化できるか？
• RQ2 ASRシステムから得られる電話後報確率をDNNの入力に組み込む（電話依存学習）ことで、d-ベクトル性能が向上するか？
• RQ3 判別的正規化手法（LDA、PLDA）は、i-ベクトルベースシステムと比較してd-ベクトルベースシステムにどのように影響を与えるか？
• RQ4 非線形次元削減（NLDR）は、冗長性を除去することでd-ベクトル性能をさらに向上させられるか？
• RQ5 最良のd-ベクトルシステムとi-ベクトルシステムのスコア統合により、個別のシステムよりも優れた性能が得られるか？

主な発見

• 単純なコサイン距離を用いた場合、d-ベクトルシステムはi-ベクトルベースラインを上回り、EER 13.58%（i-ベクトル：19.32%）を達成した。
• PLDAを適用した場合、i-ベクトルシステムがd-ベクトルシステムを上回った（EER：8.70% vs. 15.45%）、これは判別的正規化がi-ベクトルにより大きな恩恵をもたらすことを示唆している。
• 電話依存学習を用いたd-ベクトルでは、EERが13.58%から13.21%に低下し、一貫したが微小な改善が得られた。
• 非線形次元削減（NLDR）により、さらにd-ベクトル性能が向上し、電話依存学習を組み合わせた場合のEERは12.79%に低下した。
• 最良のd-ベクトル（NLDR + 電話依存学習）とi-ベクトル（PLDA）システムの組み合わせにより、すべての構成で最低EER 7.14%を達成した。
• 結果から、d-ベクトルはすでに高い判別性を有しているが、フレーム間の不確実性や冗長性はNLDRとスコア統合により依然として軽減可能であると示唆された。