[論文レビュー] The DKU-DukeECE Systems for VoxCeleb Speaker Recognition Challenge 2020

Weiqing Wang, Danwei Cai+2 more|arXiv (Cornell University)|Oct 24, 2020

Speech Recognition and Synthesis参考文献 27被引用数 22

ひとこと要約

本稿は、VoxCeleb Speaker Recognition Challenge 2020 におけるDKU-DukeECEシステムを提示し、高度な発話者確認およびダイアライゼーションパイプラインを紹介する。トラック1では、ResNet、ResNet-BAM、ECAPA-TDNNをスコア正規化および統合により組み合わせ、VoxSRC20-devで2.48%のEERを達成した。トラック4では、反復的自己教師学習、VAD、均等なセグメンテーション、自己注意型類似度モデリング、スペクトルクラスタリングを採用し、微調整後、dev-66でDERを6.46%、JERを28.58%に低減した。

ABSTRACT

In this paper, we present the system submission for the VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20) by the DKU-DukeECE team. For track 1, we explore various kinds of state-of-the-art front-end extractors with different pooling layers and objective loss functions. For track 3, we employ an iterative framework for self-supervised speaker representation learning based on a deep neural network (DNN). For track 4, we investigate the whole system pipeline for speaker diarization, including voice activity detection (VAD), uniform segmentation, speaker embedding extraction, and clustering.

研究の動機と目的

• VoxCeleb Speaker Recognition Challenge 2020 における高性能な発話者確認およびダイアライゼーションシステムの開発。
• ノイズ、混浊、速度変更などのデータ拡張を用いて、耐障害性および一般化性能の向上。
• トラック3における反復的自己教師学習を用いた発話者表現学習の検討。
• VAD、セグメンテーション、埋め込み抽出、類似度モデリング、クラスタリングを含む、ダイアライゼーションパイプライン全体の最適化。
• エンドツーエンドのシステム統合と微調整を用いて、VoxCelebおよびVoxConverseの開発セットで最先端の性能を達成すること。

提案手法

• トラック1では、80次元のログメルフィルタバンク特徴量、グローバル統計プーリング、ArcFace損失を用いて発話者埋め込み学習を行うResNet、ResNet-BAM、ECAPA-TDNNを用いる。
• 適応的対称スコア正規化（AS-Norm）と、補正された重み（1, 1.2, 1）を用いたスコアレベル統合（ResNet、ResNet-BAM、ECAPA-TDNNの順）を適用する。
• トラック3では、クラスタリングからの偽ラベルを用いてDNNをトレーニングする反復的自己教師学習フレームワークを採用し、複数ラウンドにわたって発話者埋め込みを改善する。
• トラック4では、均等なセグメンテーション（1.5秒、0.75秒シフト）、ソフトマックス損失を用いたResNetベースの発話者埋め込み抽出、および自己注意型類似度モデリングによる類似度行列の計算を含むパイプラインを構築する。
• 類似度モジュールは、256次元入力、128ユニットのヘッド、1024次元のフィードフォワード層を持つマルチヘッドアテンションネットワークであり、シグモイドスケーリングされた類似度スコアを出力する。
• 対称化および正規化された類似度行列を用いたスペクトルクラスタリングをダイアライゼーションに適用し、スコアの閾値0.99を用いて発話者数を推定する。

実験結果

リサーチクエスチョン

• RQ1 異なるフロントエンド抽出器（ResNet、ResNet-BAM、ECAPA-TDNN）は、さまざまなテスト条件下でどのように発話者確認性能を比較するか？
• RQ2 偽ラベルを用いた反復的自己教師学習は、リソースが限られた状況下で発話者表現学習を向上させることができるか？
• RQ3 自己注意型類似度モデリングは、短いセグメント間の発話者関係を捉えるために、ダイアライゼーションにおいてどの程度効果的か？
• RQ4 VAD、類似度、重複検出モデルの微調整が、ダイアライゼーション性能に与える影響は何か？
• RQ5 VAD、セグメンテーション、埋め込み、類似度、クラスタリングを統合した統一パイプラインは、VoxConverseで最先端の結果を達成できるか？

主な発見

• ResNet、ResNet-BAM、ECAPA-TDNNの統合システムは、VoxSRC20-devセットで2.48%のEERおよび0.1252のmDCF 0.05を達成し、個々のモデルを上回る性能を示した。
• トラック3における反復的自己教師学習により、2ラウンド後にVoxCeleb1-HでminDCFが0.857から0.479に、EERが20.11%から9.60%に低下した。
• 150件の開発用録音データを用いた微調整後、ダイアライゼーションシステムは開発セットの最後の66件で6.46%のDERおよび28.58%のJERを達成した。
• 微調整を施さない場合、開発セット全体（dev-all）のDERは9.74%であったが、保留されたサブセットでの微調整により6.46%に改善された。
• 自己注意型類似度モデルは類似度推定を著しく改善し、変動するセグメント長にもかかわらず正確な発話者クラスタリングを可能にした。
• 境界拡張を施した重複検出により、耐障害性が向上し、微調整後、dev-66で15.7%のJERを達成した。