[論文レビュー] The xx205 System for the VoxCeleb Speaker Recognition Challenge 2020

Xu Xiang|arXiv (Cornell University)|Oct 31, 2020

Speech Recognition and Synthesis参考文献 17被引用数 8

ひとこと要約

本論文では、VoxCeleb Speaker Recognition Challenge 2020 の両トラックで2位を達成した xx205 システムを提示する。このシステムは、深層畳み込みニューラルネットワーク（CNN）アーキテクチャ（ResNet、Res2Net、DPN）を採用し、埋め込みの識別性を向上させるための複合マージンソフトマックス損失関数と、スコア正規化およびシステム統合を組み合わせることで、クローズド・コンディショントラックで EER 3.808%、minDCF 0.1958 を達成し、オープン・コンディショントラックで EER 3.798%、minDCF 0.1942 を達成した。

ABSTRACT

This report describes the systems submitted to the first and second tracks of the VoxCeleb Speaker Recognition Challenge (VoxSRC) 2020, which ranked second in both tracks. Three key points of the system pipeline are explored: (1) investigating multiple CNN architectures including ResNet, Res2Net and dual path network (DPN) to extract the x-vectors, (2) using a composite angular margin softmax loss to train the speaker models, and (3) applying score normalization and system fusion to boost the performance. Measured on the VoxSRC-20 Eval set, the best submitted systems achieve an EER of $3.808\%$ and a MinDCF of $0.1958$ in the close-condition track 1, and an EER of $3.798\%$ and a MinDCF of $0.1942$ in the open-condition track 2, respectively.

研究の動機と目的

• VoxSRC 2020 チャレンジにおいて、制限付きおよびオープンな訓練データ条件下で高精度なスピーカー認識システムを開発すること。
• スピークァー検証における x-vector 抽出に適した複数の深層 CNN アーキテクチャ（ResNet、Res2Net、DPN）の性能を調査すること。
• 2つの調整可能なマージンを備えた複合マージンソフトマックス損失関数を導入することで、モデルの汎化性能と識別性を向上させること。
• スコア正規化と複数モデルのアンサンブル統合を用いることで、システムのロバスト性を強化すること。
• ドメインシフトや短いテスト発話にさらされても、クローズドおよびオープン・コンディションの評価セットで最先端の性能を達成すること。

提案手法

• 音声特徴として 40次元の Fbank 特徴を用い、音声活動検出（VAD）を実施せずに、3秒のスライディング・ウィンドウで平均正規化を適用する。
• x-vector 抽出に向け、ResNet、Res2Net、DPN といった複数の CNN アーキテクチャを評価し、DPN68 が最も優れた性能を示した。
• 複合マージンソフトマックス（CM-Softmax）損失関数を用い、その定義は $ L_{\text{CM}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\cos(\theta_{y_i,i}+m_1)-m_2)}}{e^{s(\cos(\theta_{y_i,i}+m_1)-m_2)} + \sum_{j\neq i}e^{s\cos(\theta_{j,i})}} $ である。ここで $ m_1 $ と $ m_2 $ は学習可能なマージンである。
• データ拡張にはリバーブ、MUSANノイズ、音楽、babel が用いられ、1つの元の発話から4つの追加データを生成した。
• スコア正規化には、VoxCeleb2 および VoxCelebCat からのコhortセットを用いたアダプティブ・シンメトリカル正規化（s-norm）を適用し、平均および標準偏差の計算に上位400人のスピーカーを選択した。
• システム統合では、Bosaris ツールキットを用いて複数モデルのコサイン類似度スコアと PLDA スコアを統合し、x-vector に対して LDA および長さ正規化を適用した。

実験結果

リサーチクエスチョン

• RQ1 VoxSRC 2020 チャレンジにおいて、異なる CNN アーキテクチャ（ResNet、Res2Net、DPN）は、スピークァー埋め込み抽出の性能においてどのように比較されるか？
• RQ2 2つの調整可能なマージンを備えた複合マージンソフトマックス損失関数を用いることで、スピークァー・モデルの識別性にどのような影響を与えるか？
• RQ3 スコア正規化とモデル統合は、ドメインシフトや短い発話条件下でも、VoxSRC 2020 評価セットでの性能向上にどの程度寄与するか？
• RQ4 トラック2では、Librispeech などの追加訓練データを導入することで、トラック1と比較してシステムのロバスト性と性能はどのように変化するか？
• RQ5 統一されたシステムパイプラインは、ドメインシフトが最小限に抑えられる条件下で、クローズドおよびオープン・コンディション両トラックでトップクラスの性能を達成できるか？

主な発見

• トラック1で最も優れた単一システム（DPN68、設定B+β+3）は、VoxSRC-20 Val データセットで EER 2.865%、minDCF 0.1422 を達成した。
• トラック1の最終統合システムは、VoxSRC-20 Eval データセットで EER 3.808%、minDCF 0.1958 を達成し、クローズド・コンディショントラックで2位となった。
• トラック2では、最も優れた単一システムが、VoxSRC-20 Val データセットで EER 2.731%、minDCF 0.1427 を達成し、統合システムは VoxSRC-20 Eval データセットで EER 3.798%、minDCF 0.1942 を達成した。
• トラック2では追加の Librispeech データを用いることで、ドメインシフトや短いテスト発話にもかかわらず、わずかに性能が向上した。
• VoxCeleb2 および VoxCelebCat からの上位400人のコホートを用いたアダプティブ s-norm を用いたスコア正規化は、システムのロバスト性と汎化性能を顕著に向上させた。
• マージン $ m_1 = 0.2 $、$ m_2 = 0.1 $、スケーリング係数 $ s = 32.0 $ を備えた複合マージンソフトマックス損失関数は、クラス間分離性の向上とクラス内コンパクト性の強化に寄与した。