[論文レビュー] Deep Neural Network Embedding Learning with High-Order Statistics for Text-Independent Speaker Verification.

Lanhua You, Wu Guo+2 more|arXiv (Cornell University)|Mar 28, 2019

Speech Recognition and Synthesis参考文献 12被引用数 4

ひとこと要約

本論文は、x-vectorスピーカー埋め込みのためのマルチタスク学習フレームワークを提案しており、rawな発話からスピーク分類と高次統計量の再構成を同時に最適化する。教師ありと教師なしの信号を統合することで、最小限の計算コスト増加で埋め込みの識別性と耐性を向上させ、標準的なx-vectorシステムと比較してNIST SRE16およびVOiCESデータセットで優れた性能を達成する。

ABSTRACT

The x-vector based deep neural network (DNN) embedding systems have demonstrated effectiveness for text-independent speaker verification. This paper presents a multi-task learning architecture for training the speaker embedding DNN, with the primary task of classifying the target speakers and the auxiliary task of reconstructing the higher-order statistics of the original input utterance. The proposed training strategy aggregates both the supervised and unsupervised learning into one framework to make the speaker embeddings more discriminative and robust. Experiments are carried out in the NIST SRE16 evaluation dataset and the VOiCES dataset. The results demonstrate that our proposed method outperform the original x-vector approach with very low additional complexity added.

研究の動機と目的

• テキストに依存しないスピーク検証性能を、教師ありと教師なしの学習信号を併用することで向上させること。
• 標準的なx-vectorシステムが埋め込み学習にスピーク分類のみに依存するという限界を解消すること。
• 入力発話の高次統計量の補助的再構成を通じて、埋め込みの耐性と識別性を向上させること。
• モデルの複雑さを著しく増加させないよう、教師ありと教師なしの目的関数を統合する訓練フレームワークを開発すること。

提案手法

• 主タスクとしてスピーク分類、補助タスクとして入力発話の高次統計量の再構成を行うマルチタスク学習アーキテクチャを導入する。
• 学習中に、rawな音声特徴の高次統計量（例：3次および4次モーメント）を監視信号として用いる。
• 共有エンコーダーベースのバックボーンを用いて、スピークID分類とこれらの統計的特徴の再構成を同時に最適化するDNNを訓練する。
• 高次統計量の再構成損失を適用することで、ネットワークが識別性と耐性のある表現を保持するように促進する。
• 両タスクに共通するボトルネック層（x-vector）を用いてスピーク埋め込みを抽出する。
• スピーク分類のための交差エントロピー損失と、統計的再構成のための平均二乗誤差損失を組み合わせた訓練目的を採用する。

実験結果

リサーチクエスチョン

• RQ1 発話の高次統計量の再構成は、テキストに依存しない検証におけるスピーク埋め込みの識別性を向上させることができるか？
• RQ2 スピーク分類と統計的再構成の共同学習は、チャネルおよび環境的変動に対する耐性にどのように影響するか？
• RQ3 教師なし補助タスクを追加することで、計算コストを最小限に抑えながらx-vectorシステムの性能にどのような影響を与えるか？
• RQ4 提案されたマルチタスクフレームワークは、NIST SRE16およびVOiCESのような多様な評価セットに一般化可能か？

主な発見

• 提案手法は、NIST SRE16評価データセットにおいて標準的なx-vectorシステムよりも優れた性能を達成した。
• VOiCESデータセットに対してもベースラインを上回った結果が得られ、多様な録音条件下でも耐性があることが示された。
• 非常に低い追加計算コストで性能向上が達成されたため、実世界への導入に実用的である。
• 高次統計量を補助タスクとして統合することで、学習されたスピーク埋め込みの識別力が向上した。
• 高次統計量からの教師なし信号が、追加のラベルを必要とせずに、埋め込み品質に有意義に寄与することが結果から確認された。