[論文レビュー] Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification

Xu Li, Jinghua Zhong+5 more|arXiv (Cornell University)|Apr 8, 2020

Speech Recognition and Synthesis参考文献 27被引用数 5

ひとこと要約

本論文は、データ分布の不一致下での一般化性能を向上させるために、ベイジアンニューラルネットワーク（BNN）を強化した深層ニューラルネットワーク（DNN）x-vectorシステム、すなわちベイジアンx-vectorを提案する。時空間畳み込みニューラルネットワーク（TDNN）層における重みの不確実性を変分推論を用いてモデル化することで、過学習を低減し、特にドメイン外条件下での耐性を向上させる。NIST SRE10評価では4.69%の相対的EER低減を達成し、融合手法を用いることで6.53%の改善を達成した。

ABSTRACT

Speaker verification systems usually suffer from the mismatch problem between training and evaluation data, such as speaker population mismatch, the channel and environment variations. In order to address this issue, it requires the system to have good generalization ability on unseen data. In this work, we incorporate Bayesian neural networks (BNNs) into the deep neural network (DNN) x-vector speaker verification system to improve the system's generalization ability. With the weight uncertainty modeling provided by BNNs, we expect the system could generalize better on the evaluation data and make verification decisions more accurately. Our experiment results indicate that the DNN x-vector system could benefit from BNNs especially when the mismatch problem is severe for evaluations using out-of-domain data. Specifically, results show that the system could benefit from BNNs by a relative EER decrease of 2.66% and 2.32% respectively for short- and long-utterance in-domain evaluations. Additionally, the fusion of DNN x-vector and Bayesian x-vector systems could achieve further improvement. Moreover, experiments conducted by out-of-domain evaluations, e.g. models trained on Voxceleb1 while evaluated on NIST SRE10 core test, suggest that BNNs could bring a larger relative EER decrease of around 4.69%.

研究の動機と目的

• 発話者集団、チャネル、環境の変動などのデータ不一致下における発話者認証システムの一般化課題に対処すること。
• 未知またはドメイン外データで評価されるDNN x-vectorシステムの耐性を向上させること。
• ベイジアンニューラルネットワーク（BNN）が、発話者認証におけるモデルの不確実性推定と意思決定の信頼性を向上させられるかを検証すること。
• BNNの有効性をドメイン内およびドメイン外の評価シナリオの両方で評価すること。
• 決定的およびベイジアンx-vectorシステムの融合によりさらなる性能向上が達成できるかを検討すること。

提案手法

• x-vector抽出器内の標準的な決定的TDNN層を、変分推論を用いてパrameterの不確実性をモデル化するベイジアンニューラルネットワーク（BNN）層に置き換える。
• ネットワーク重みの事後分布を用いて、未知データに対する過学習を低減し、一般化性能を向上させる。
• 推論時に確率的重み平均化とモンテカルロドロップアウトを適用し、予測不確実性を推定する。
• BNNベースの発話者埋め込みを、従来のコサイン類似度およびPLDAスコアバックエンドと統合して認証に使用する。
• 決定的DNN x-vectorとベイジアンx-vectorシステムの融合により、両者の相補的利点を組み合わせる。
• BNNの学習には、尤度とKLダイバージェンスのバランスを取る変分推論目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークは、データ分布の不一致下におけるDNN x-vectorシステムの一般化能力を向上させられるか？
• RQ2 BNNにおける不確実性モデリングは、短発話および長発話の発話者認証タスクにおける性能にどのように影響するか？
• RQ3 ベイジアンx-vectorシステムは、ドメイン内評価と比較してドメイン外評価においてより大きな改善を示すか？
• RQ4 決定的およびベイジアンx-vectorシステムの融合によりさらなる性能向上が達成できるか？
• RQ5 BNNにおける不確実性モデリングは、チャネルおよび発話者固有の特徴への過学習を緩和するのを助けるか？

主な発見

• ベイジアンx-vectorシステムは、短発話ドメイン内評価で2.66%の相対的EER低減、長発話評価で2.32%の低減を達成した。
• DNN x-vectorとベイジアンx-vectorシステムの融合によりさらなる性能向上が得られ、短発話では7.24%、長発話では3.08%の相対的EER低減を達成した。
• ドメイン外評価（VoxCeleb1で学習、NIST SRE10でテスト）では、ベイジアンシステムが平均で4.69%のEER低減を、融合システムでは6.53%の低減を達成した。
• ドメイン外評価での改善がドメイン内評価よりも顕著であったため、ベイジアン学習が高レベルのデータ不一致下で特に有益であることが示された。
• 検出誤りトレードオフ（DET）曲線から、ドメイン内およびドメイン外両設定において、あらゆる動作点で一貫した性能向上が確認された。
• コサイン類似度およびPLDAスコアバックエンドの両方で結果が一貫しており、ベイジアンアプローチの堅牢性が裏付けられた。