[論文レビュー] DNN based Speaker Recognition on Short Utterances

Ahilan Kanagasundaram, David Dean+2 more|arXiv (Cornell University)|Oct 11, 2016

Speech Recognition and Synthesis参考文献 14被引用数 11

ひとこと要約

本論文は、短い発話条件下における話者認証のためのDNNセンオンベースのガウス型確率的線形判別分析（GPLDA）システムを提案する。従来のGMM-UBMに代えてDNNを用いることで、発音に配慮した話者モデリングを向上させる。短い発話条件において、GMM-UBM GPLDAと比較してEERに50%以上の相対的改善を達成する。特に、GPLDAのバックグラウンドモデルを短い開発データ（30秒）で学習させることで、話者、セッション、発音のばらつきに対するロバスト性が向上する。

ABSTRACT

This paper investigates the effects of limited speech data in the context of speaker verification using deep neural network (DNN) approach. Being able to reduce the length of required speech data is important to the development of speaker verification system in real world applications. The experimental studies have found that DNN-senone-based Gaussian probabilistic linear discriminant analysis (GPLDA) system respectively achieves above 50% and 18% improvements in EER values over GMM-UBM GPLDA system on NIST 2010 coreext-coreext and truncated 15sec-15sec evaluation conditions. Further when GPLDA model is trained on short-length utterances (30sec) rather than full-length utterances (2min), DNN-senone GPLDA system achieves above 7% improvement in EER values on truncated 15sec-15sec condition. This is because short length development i-vectors have speaker, session and phonetic variation and GPLDA is able to robustly model those variations. For several real world applications, longer utterances (2min) can be used for enrollment and shorter utterances (15sec) are required for verification, and in those conditions, DNN-senone GPLDA system achieves above 26% improvement in EER values over GMM-UBM GPLDA systems.

研究の動機と目的

• 限られた音声データ条件下、特に短い発話を用いた状況でのDNNセンオンベースのGPLDAの性能を調査すること。
• 長時間（2分）のデータではなく、短時間（30秒）の発話を用いてGPLDAバックグラウンドモデルを学習させることで、話者、セッション、発音のばらつきに対するロバスト性が向上するかどうかを評価すること。
• 登録に長時間発話（2分）を、検証に短時間発話（15秒）を用いる実世界の状況において、DNNセンオンGPLDAシステムと従来のGMM-UBM GPLDAを比較すること。
• DNNベースの音声モデリングが、リソースが限られた短い発話環境下でどれほど性能向上をもたらすかを特定すること。
• DNNから得られる発音に配慮したアラインメントが、短時間発話タスクにおけるi-vector抽出およびその後のPLDAスコアリングに与える影響を評価すること。

提案手法

• GMM-UBMをDNNに置き換え、センオンの事後確率を計算し、i-vector抽出に用いる Baum-Welch の十分統計量を算出する。
• DNNセンオン事後確率に基づく統計量を用いて、トータル変動モデルにより600次元のi-vectorを抽出する。
• PLDAモデルによるスコアリングの前に、i-vectorに対して長さ正規化および平均値減算を適用する。
• GPLDAバックグラウンドモデルを、全長（2分）または短い長さ（30秒）の開発発話を用いて学習させ、学習データ長の影響を評価する。
• ドメイン内NISTデータから得たクラス内（WC）およびクラス間（AC）共分散行列を用いて、バッチ尤度比スコアリングを実施する。
• i-vector抽出、PLDAスコアリング、NIST 2010データセット上の評価の実装にKaldiツールキットを用いる。

実験結果

リサーチクエスチョン

• RQ1 登録と検証の両方の発話が短い（15秒）状況において、DNNセンオンベースのGPLDAシステムはGMM-UBM GPLDAを上回る性能を示すか？
• RQ2 GPLDAバックグラウンドモデルを短い発話（30秒）で学習させることで、長時間（2分）の発話で学習させた場合と比較して、短い発話の検証タスクにおける性能が向上するか？
• RQ3 登録に長時間発話（2分）を、検証に短時間発話（15秒）を用いる現実的状況において、DNNセンオンアプローチの性能はいかがなっているか？
• RQ4 DNNベースのアプローチは発音に配慮しているにもかかわらず、非常に短い発話（10秒）では、より長い発話と比較して改善度が小さいのはなぜか？
• RQ5 短い開発データに含まれる発音、セッション、話者のばらつきを組み込むことで、GPLDAのモデリング能力はどの程度向上するか？

主な発見

• NIST 2010 coreext-coreext 条件における短い発話条件下で、DNNセンオンベースのGPLDAシステムはGMM-UBM GPLDAと比較してEERに50%以上の相対的改善を達成した。
• 短縮された15秒-15秒評価条件下では、DNNセンオンGPLDAシステムはGMM-UBM GPLDAと比較してEERを18%相対的に改善し、中程度ではあるが一貫した向上が得られた。
• GPLDAモデルを30秒の開発発話で学習させた場合、15秒-15秒条件下でEERに7%以上の絶対的改善が得られた。
• 2分の登録と15秒の検証を想定した現実的状況において、DNNセンオンGPLDAシステムはGMM-UBM GPLDAと比較してEERに26%以上の相対的改善を達成した。
• 短いデータで学習させることによる改善は、短いi-vectorにおける話者、セッション、発音のばらつきのより良いモデリングに起因する。
• 登録発話が長い場合、短いデータで学習させても性能向上が得られない。これは、長時間発話には発音のばらつきが含まれないためである。