[論文レビュー] HLT-NUS SUBMISSION FOR 2020 NIST Conversational Telephone Speech SRE

Rohan Kumar Das, Ruijie Tao+1 more|arXiv (Cornell University)|Nov 12, 2021

Speech Recognition and Synthesis参考文献 9被引用数 7

ひとこと要約

本論文は、2020年NIST会話型電話音声スプーカー認識評価へのHLT-NUSの提出を提示する。多言語コーパスを用いて訓練されたTDNN x-vectorおよびECAPA-TDNNシステムの統合を特徴とし、ドメイン適応PLDAおよび適応的s-normにより性能が向上した。スコアレベルの統合により、SRE20 CTSプログレスセットにおけるminDCFが0.190に低下した。

ABSTRACT

This work provides a brief description of Human Language Technology (HLT) Laboratory, National University of Singapore (NUS) system submission for 2020 NIST conversational telephone speech (CTS) speaker recognition evaluation (SRE). The challenge focuses on evaluation under CTS data containing multilingual speech. The systems developed at HLT-NUS consider time-delay neural network (TDNN) x-vector and ECAPA-TDNN systems. We also perform domain adaption of probabilistic linear discriminant analysis (PLDA) model and adaptive s-norm on our systems. The score level fusion of TDNN x-vector and ECAPA-TDNN systems is carried out, which improves the final system performance of our submission to 2020 NIST CTS SRE.

研究の動機と目的

• オープントレーニング条件下における多言語会話型電話音声（CTS）スプーカー認識の課題に対処すること。
• 多様な言語的・音声的条件下で一般化可能な頑健なスプーカー認識システムの開発。
• 専用の開発セットが存在しない状況下で、ドメイン適応およびスコア正規化技術を用いて性能を向上させること。
• スコアレベルの統合を通じて、TDNN x-vectorおよびECAPA-TDNNアーキテクチャの相補的利点を同定すること。
• オープントレーニングデータと最小限の開発データを用いて、SRE20 CTS評価セットで最先端の性能を達成すること。

提案手法

• Switchboard、SRE 2004–2016、Fisher、Mixer6、VoxCeleb1、VoxCeleb2のデータセットを組み合わせ、Kaldiレシピを用いてTDNN x-vectorシステムを訓練した。
• MUSANノイズおよびリバーブレーションを用いたデータ拡張により、トレーニングセットのサイズを2倍に増やし、耐性を向上させた。
• 23次元のMFCC特徴量とエネルギーベースのVADを用いて、TDNNアーキテクチャで512次元のxベクトルを抽出した。
• 次元削減にLDAを、スコアリングにPLDAを用い、SRE2018評価セットを用いてドメイン適応を実施した。
• SRE2018評価セット（上位30％）に対して適応的s-normを実装し、スコアのキャリブレーションを改善した。
• VoxCeleb2を事前学習に用い、SpecAugmentおよびオンラインRIR/ノイズ拡張を実施したECAPA-TDNNシステムを構築し、その後SRE18およびSRE19 CTSセットでファインチューニングした。

実験結果

リサーチクエスチョン

• RQ1 TDNN x-vectorおよびECAPA-TDNNアーキテクチャを統合したハイブリッドシステムは、多言語CTSスプーカー認識においてどの程度効果的か？
• RQ2 PLDAモデルのドメイン適応は、多言語CTSデータにおける性能向上にどの程度寄与するか？
• RQ3 適応的s-normは、オープンセット評価設定下でactDCFとminDCFの乖離を効果的に低減できるか？
• RQ4 相補的なモデルを用いたスコアレベルの統合は、システム性能にどのような影響を与えるか？
• RQ5 異なるトレーニングデータの組み合わせは、オープントレーニング条件下での一般化性能にどのような影響を与えるか？

主な発見

• ECAPA-TDNNシステムは、SRE20 CTSプログレスセットにおいてTDNN x-vectorシステム（0.269）よりも低いminDCF（0.239）を達成した。
• 2つのシステムのスコアレベル統合により、SRE20 CTSプログレスセットにおけるminDCFが0.190に低下し、個々のシステムを上回った。
• 統合システムはSRE20 CTSプログレスセットでEER 4.53％を達成したのに対し、個々のECAPA-TDNNシステムでは5.35％であった。
• PLDAモデルのドメイン適応は性能向上に顕著に寄与し、特に多言語データにおけるminDCFの低減に有効であった。
• 適応的s-normはactDCFとminDCFの差を低減したが、依然として大きな乖離が残っており、さらなるキャリブレーション改善の余地があることを示した。
• TDNN x-vectorシステムのリアルタイム要因は0.02、ECAPA-TDNNシステムでは0.05であり、標準ハードウェア上での効率的な推論を示した。