[論文レビュー] Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021

Li Zhang, Huan Zhao+4 more|arXiv (Cornell University)|Sep 8, 2021

Speech Recognition and Synthesis参考文献 31被引用数 5

ひとこと要約

本論文は、VoxCeleb Speaker Recognition Challenge 2021 の完全教師ありトラック（トラック1およびトラック2）で2位を達成した北京ZKJ-NPUシステムを提示する。このシステムは、E-TDNN、ECAPA-TDNN、ResNet変種、CoAtNet、PyConvといった多様な深層ニューラルネットワークを用い、大マージン微調整、埋め込み正規化、スコア正規化、モデルアンサンブルといった高度なトレーニング戦略を組み合わせており、トラック1およびトラック2のテストセットでそれぞれminDCF 0.1205および0.1175、EER 2.816%および2.840%を達成した。

ABSTRACT

In this report, we describe the Beijing ZKJ-NPU team submission to the VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC-21). We participated in the fully supervised speaker verification track 1 and track 2. In the challenge, we explored various kinds of advanced neural network structures with different pooling layers and objective loss functions. In addition, we introduced the ResNet-DTCF, CoAtNet and PyConv networks to advance the performance of CNN-based speaker embedding model. Moreover, we applied embedding normalization and score normalization at the evaluation stage. By fusing 11 and 14 systems, our final best performances (minDCF/EER) on the evaluation trails are 0.1205/2.8160% and 0.1175/2.8400% respectively for track 1 and 2. With our submission, we came to the second place in the challenge for both tracks.

研究の動機と目的

• 完全教師ありトレーニングを用いて、VoxCeleb Speaker Recognition Challenge 2021用の高精度な発話者認証システムを開発すること。
• 発話者埋め込み学習の向上を図るため、ResNet-DTCF、CoAtNet、PyConvを含む高度な深層ニューラルネットワークアーキテクチャを検討すること。
• 大マージン微調整、埋め込み正規化、スコア正規化といったトレーニングおよび評価段階の技術を用いて性能を向上させること。
• トラック1およびトラック2の両方で、複数の多様なシステムを統合するモデルアンサンブルにより、最先端の結果を達成すること。

提案手法

• TDNNおよびResNetアーキテクチャに基づく15種類の多様な発話者埋め込みモデル（E-TDNN、ECAPA-TDNN、ResNet-SE、ResNet-BAM、SE-Res2Net、CoAtNetを含む）をトレーニングした。
• 周波数ドメインにおけるSpecAug、追加ノイズ（MUSAN）、混响（RIRベース）、および速度摂動によるスピーカーオーバーラップといったオンラインデータオーグメンテーション技術を適用した。
• 入力としてメル周波数 cepstral コ efficient（MFCC）およびメルフィルターバンク（Fbank）特徴量を用い、クロスエントロピー、AAM-softmax、SC-AAM-softmax、またはサークル損失を用いてモデルをトレーニングした。
• トレーニング中に大マージン微調整（LMF）を実装し、クラス間分離性およびマージン学習を向上させた。
• 推論段階で埋め込み正規化とスコア正規化（マトリクススコア平均）を適用し、スコアのばらつきを低減し、一般化性能を向上させた。
• BOSARISツールキットを用いて線形アンサンブルによる11および14のシステムを統合し、個々のモデルよりも顕著に性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 ResNet-DTCF や CoAtNet といったハイブリッドCNNアーキテクチャは、標準的なTDNNおよびResNetモデルと比較して、発話者認証においてどのように性能を発揮するか？
• RQ2 埋め込み正規化およびスコア正規化といった正規化技術は、発話者認証における一般化性能および性能にどのような影響を与えるか？
• RQ3 大マージン微調整は、完全教師あり設定下で発話者埋め込みモデルの判別力の向上に寄与するか？
• RQ4 モデルアンサンブルは、多様なアーキテクチャを統合することで、VoxSRC-2021ベンチマークで優れた性能を達成するのにどの程度有効か？
• RQ5 SpecAug、ノイズ、混響といったデータオーグメンテーション戦略は、多言語発話者認証におけるロバストネス向上にどの程度寄与するか？

主な発見

• 14のシステムを統合した結果、トラック2でminDCF 0.1175、EER 2.840%を達成し、2位を獲得した。
• 11のシステムを統合した結果、トラック1でminDCF 0.1205、EER 2.816%を達成し、同様に2位を獲得した。
• 評価段階で埋め込み正規化およびスコア正規化を適用したことで、ベースラインモデルと比較して明確な性能向上が得られた。
• CNN-ECAPA や ResNet-Pyramid といったハイブリッドモデルは、単体のResNetおよびTDNN変種を上回る性能を発揮した。
• 大マージン微調整はモデルの一般化性能を顕著に向上させ、複数のモデルでminDCFを最大0.03まで低減した。
• CoAtNetベースのモデルは、個別ではやや精度が低かったが、アンサンブルにおいては補完的行動を示し、効果的に貢献した。