[論文レビュー] Text-Independent Speaker Verification Using Long Short-Term Memory Networks

Aryan Mobiny, Najarian, Mohammad|arXiv (Cornell University)|May 2, 2018

Speech Recognition and Synthesis参考文献 18被引用数 7

ひとこと要約

この論文では、MFCC特徴量から時間的発話者特徴を直接モデル化する、テキスト非依存発話者認証のエンドツーエンドLSTMベースのアーキテクチャを提案する。バックグラウンドモデルと発話者モデルをエンドツーエンドで同時に学習することで、評価セットで22.9%のEERを達成し、GMM-UBM（27.1%）およびi-vector + PLDA（23.5%）のベースラインを上回った。特に短い発話文において優れた性能を発揮した。

ABSTRACT

In this paper, an architecture based on Long Short-Term Memory Networks has been proposed for the text-independent scenario which is aimed to capture the temporal speaker-related information by operating over traditional speech features. For speaker verification, at first, a background model must be created for speaker representation. Then, in enrollment stage, the speaker models will be created based on the enrollment utterances. For this work, the model will be trained in an end-to-end fashion to combine the first two stages. The main goal of end-to-end training is the model being optimized to be consistent with the speaker verification protocol. The end- to-end training jointly learns the background and speaker models by creating the representation space. The LSTM architecture is trained to create a discrimination space for validating the match and non-match pairs for speaker verification. The proposed architecture demonstrate its superiority in the text-independent compared to other traditional methods.

研究の動機と目的

• テキスト非依存発話者認証における時間的発話者固有パターンを捉えるエンドツーエンドのディープラーニングモデルの開発。
• 認証プロトコルにおいてバックグラウンドモデルと発話者モデルの学習を同時に最適化することで、発話者認証の性能を向上させること。
• GMM-UBMやi-vectorといった従来手法と比較して、LSTMが短い発話文の処理において優れた性能を示すことを実証すること。
• 従来手法と比較して、LSTMが長期的な発話者変動をモデル化する点での限界を調査すること。

提案手法

• モデルは、60%の重複を持つ1秒間の発話文から抽出された生の音声特徴（MFCC）を処理するLSTMネットワークを用いる。
• エンドツーエンド学習により、共有表現空間を学習することで、バックグラウンドモデルと発話者モデルを同時に最適化する。
• シアン型の損失関数を用い、コントラスト損失とマージンベースのランク損失を組み合わせる：$ C_W = Y \times C_{gen} + (1-Y) \times C_{imp} + \lambda \|W\|_2 $。
• $ C_{gen} $ および $ C_{imp} $ の項は、それぞれ $ \frac{1}{2} D_W^2 $ および $ \frac{1}{2} \max\{0, (M - D_W)\}^2 $ として定義され、$ M $ はマージンである。
• 学習の安定化と一般化性能の向上を図るため、バッチ正規化とデータ拡張を用いる。
• 評価では、埋め込み距離を計算し、本物ペアの最大距離と最小距離に基づいた動的しきい値戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドLSTMアーキテクチャは、テキスト非依存発話者認証において、発話者固有の時間的パターンを効果的に学習できるか？
• RQ2 発話文長の変動に応じて、提案モデルはGMM-UBMやi-vectorといった従来手法と比較してEERでどのように差をつけるか？
• RQ3 従来モデルと比較して、LSTMベースのモデルは短い発話文においても優れた性能を維持できるか？
• RQ4 なぜ従来手法は長時間の発話文においてもLSTMを上回るのか、またLSTMが長期的な発話者可変性を捉える点での限界は何か？

主な発見

• 提案されたLSTMモデルは22.9%の等誤差率（EER）を達成し、GMM-UBM（27.1%）およびi-vector + PLDA（23.5%）のベースラインを上回った。
• 短い発話文（1秒）において、従来手法を顕著に上回り、リソースが限られた環境下でも優れた性能を示した。
• 長時間の発話文では、依然として従来のi-vectorベースのモデルがLSTMモデルを上回り、長期的な発話者依存性を捉える点での限界が示された。
• モデルの性能は発話文長に敏感であり、短い発話文の状況では顕著な性能差が見られた。
• コントラスト損失関数を用いたエンドツーエンド学習により、バックグラウンドモデルと発話者モデルの有効な同時最適化が可能になった。
• 動的ペア選択アルゴリズムにより、ハードなネガティブサンプルに焦点を当てることで、学習効率が向上し、モデルの識別性能が向上した。