[論文レビュー] Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings

Jee-weon Jung, Hee-Soo Heo+2 more|arXiv (Cornell University)|Oct 25, 2018

Speech Recognition and Synthesis参考文献 23被引用数 4

ひとこと要約

本稿では、音声の語りかけの長さが短い場合に生じる性能劣化を補償するため、raw波形CNN-GRUネットワーク内での発音レベル特徴（130 msセグメント）を活用したコサインベースの教師-生徒学習フレームワークを提案する。出力層のカルバック・ライブラー発散と発話者埋め込みのコサイン距離を同時に最適化することで、2.05秒の発話において性能損失の65％以上を補償し、従来の後処理特徴変換手法を上回る性能を達成した。

ABSTRACT

The short duration of an input utterance is one of the most critical threats that degrade the performance of speaker verification systems. This study aimed to develop an integrated text-independent speaker verification system that inputs utterances with short duration of 2 seconds or less. We propose an approach using a teacher-student learning framework for this goal, applied to short utterance compensation for the first time in our knowledge. The core concept of the proposed system is to conduct the compensation throughout the network that extracts the speaker embedding, mainly in phonetic-level, rather than compensating via a separate system after extracting the speaker embedding. In the proposed architecture, phonetic-level features where each feature represents a segment of 130 ms are extracted using convolutional layers. A layer of gated recurrent units extracts an utterance-level feature using phonetic-level features. The proposed approach also adopts a new objective function for teacher-student learning that considers both Kullback-Leibler divergence of output layers and cosine distance of speaker embeddings layers. Experiments were conducted using deep neural networks that take raw waveforms as input, and output speaker embeddings on VoxCeleb1 dataset. The proposed model could compensate approximately 65 \% of the performance degradation due to the shortened duration.

研究の動機と目的

• 短い発話（≤2秒）に起因する話者検証における顕著な性能劣化を是正すること。
• 抽出後に特徴を補正する従来手法の限界を克服し、欠落した発音的コンテンツを回復できないこと。
• 発話者埋め込み抽出ネットワーク内に直接的に短い発話を補正する統合的でエンド・ツー・エンドのシステムを開発すること。
• 出力層の発散と発話者埋め込みの類似性を同時に最適化することで、発話者埋め込みの識別力と耐障害性を向上させること。

提案手法

• 入力波形から直接発話者埋め込みを抽出するため、leaky ReLUおよびGRU層を含むraw波形CNN-GRUアーキテクチャを用いる。
• 発音レベル特徴を最終畳み込み層の出力として定義し、発話の130 msセグメントを表現することで発音的コンテンツを捉える。
• 教師ネットワークが長発話を処理し、生徒ネットワークが短発話を処理する教師-生徒学習フレームワークを適用する。
• 出力層間のカルバック・ライブラー発散と発話者埋め込み層間のコサイン距離を組み合わせた新しい目的関数を導入する。
• 生徒と教師の発話者埋め込み間のコサイン類似度を、コンパクトで識別性の高い埋め込みを整列させる主要な正則化信号として用いる。
• 生徒ネットワークを、最終層出力のKL発散と発話者埋め込みのコサイン距離の両方を最小化するように訓練することで、耐障害性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 短い発話（130 msセグメント）から抽出された発音レベル特徴は、話者検証における性能劣化を効果的に補償できるか？
• RQ2 出力層発散と発話者埋め込み類似性の共同最適化は、従来の教師-生徒学習と比較して短い発話の耐障害性を向上させるか？
• RQ3 埋め込み抽出ネットワーク内に直接補正を施すエンド・ツー・エンドで統合されたシステムは、後処理特徴変換手法を上回る性能を発揮できるか？
• RQ4 本手法は、短い発話の長さが変動する（例：1.55秒から2.55秒）場合にも、その不変性を保っているか？
• RQ5 出力層の損失に加えて、発話者埋め込みを直接コサイン距離で比較することで、識別力がより向上するか？

主な発見

• 本手法は2.05秒の発話において等確率誤り率（EER）が10.08％を達成し、ベースライン（12.80％ EER）と比較して性能劣化の65％以上を補償した。
• 出力層のKL発散と発話者埋め込みのコサイン距離の両方を用いることで最良の性能が得られ、一方のみを用いる手法よりも優れた性能を示した。
• 発話長の変動範囲が±0.5秒に拡大しても、EERはわずかに10.08％から10.40％に上昇するにとどまり、一貫性ある性能を維持した。
• MSEベースやKL発散のみのベースラインと比較して、コサイン距離による埋め込み比較が顕著に性能を向上させた。これは、話者アイデンティティの構造を効果的に保持していることを示している。
• 抽出後に特徴を変換する手法と比較して、発話者埋め込み学習段階で発音レベル特徴を用いたネットワーク内補正が、識別性の高い情報を保持する点で優れていることが示された。
• アブレーションスタディにより、出力層と埋め込み空間の整列を同時に最適化することが不可欠であることが確認された。一方の損失項のみを用いた場合、最適でない結果が得られた。