[論文レビュー] The SJTU X-LANCE Lab System for CNSRC 2022

Zhengyang Chen, Bei Liu+3 more|arXiv (Cornell University)|Jun 23, 2022

Speech Recognition and Synthesis被引用数 11

ひとこと要約

本論文は、CNSRC 2022 スピーカー認識およびリtrievalチャレンジ向けに、SJTU X-LANCE Lab が開発したシステムを提示する。本システムは、ResNetアーキテクチャを基盤とする、より深い残差ネットワークの変種（Deeper r-vector）を導入しており、外部データを用いず、データ拡張、アダプティブスコア正規化、アンサンブル統合を用いて、CN-Celebデータセット上で、スピーカー認識で0.2975のminDCF、スピーカーリトリーブで0.4626のmAPという最先端の性能を達成した。

ABSTRACT

This technical report describes the SJTU X-LANCE Lab system for the three tracks in CNSRC 2022. In this challenge, we explored the speaker embedding modeling ability of deep ResNet (Deeper r-vector). All the systems are only trained on the Cnceleb training set and we use the same systems for the three tracks in CNSRC 2022. In this challenge, our system ranks the first place in the fixed track of speaker verification task. Our best single system and fusion system achieve 0.3164 and 0.2975 minDCF respectively. Besides, we submit the result of ResNet221 to the speaker retrieval track and achieve 0.4626 mAP. More importantly, we have helped the wespeaker [1] toolkit reproduce our result: https://github.com/wenet-e2e/wespeaker.

研究の動機と目的

• CN-Celebのトレーニングセットのみを用いて、CNSRC 2022 チャレンジ向けに堅牢なスピーカー埋め込みシステムを開発すること。
• r-vectorアーキテクチャの深さを増すことで、スピーカー認識およびリトリーブ性能が向上するかを検証すること。
• ノイズ、リバーブ、スピード変更などのデータ拡張技術が、モデルの汎化性能に与える影響を評価すること。
• スコアリング戦略（埋め込み平均化、アダプティブスコア正規化など）を最適化し、minDCFおよびEERの向上を図ること。
• 統一されたシステムアーキテクチャを用いて、CNSRC 2022 の3つのトラックすべてで最先端の性能を達成すること。

提案手法

• 34層のr-vectorバックボーンを採用し、80次元のfbank特徴量と統計プーリングを用いて、固定長の埋め込みを生成する。
• 1x1、3x3、1x1の畳み込み層を用い、ストライドを調整することで、深さを増した（最大221層および293層）残差ブロックを拡張し、Deeper r-vectorというより深い残差ネットワークの変種を提案する。
• オンラインでデータ拡張を実施し、1サンプルあたり60％の確率で、追加ノイズ（MUSAN）、リバーブ（RIRデータセット）、スピード変更（0.9xおよび1.1x）を適用する。
• トレーニングパイプラインは2段階で構成される。まず、スピード変更を施したデータを用いてAAM損失を最適化し、マージンを0.2に設定する第一段階を実施。その後、第二段階として、マージンを0.5に設定し、6秒のセグメントを用いて、大マージン微調整を実施する。
• スコアリングにはコサイン類似度を用い、アダプティブスコア正規化を適用し、複数の登録発話に対応するための3つの戦略（Utt-Concat、Emb-Avg、Score-Avg）を検討。最終的な結果では、Emb-AvgとASnormが選択された。
• 統合のため、大マージン微調整を施した複数のシステム（ResNet221、ResNet293など）を組み合わせ、汎化性能の向上とminDCFの低減を図る。

実験結果

リサーチクエスチョン

• RQ1 r-vectorアーキテクチャの深さを増すことで、CN-Celebデータセット上でのスピーカー認識およびリトリーブ性能にどのような影響を与えるか？
• RQ2 オンラインでのデータ拡張（ノイズ、リバーブ、スピード変更）が、モデルのロバストネスおよび汎化性能に与える影響は何か？
• RQ3 複数の登録発話を扱うスピーカー認識において、Utt-Concat、Emb-Avg、Score-Avgのうち、どのスコアリング戦略が最も優れた性能を発揮するか？
• RQ4 アダプティブスコア正規化と大マージン微調整を用いることで、標準的なトレーニングを上回るminDCFおよびEERの向上が達成できるか？
• RQ5 複数の深層ResNetバリアントを用いたモデルアンサンブル統合は、minDCFの低減にどの程度効果的か？

主な発見

• 221層のDeeper r-vectorシステムは、スピーカー認識で最高の単一システム性能を達成し、minDCFが0.3164、EERが5.227％を記録した。
• 大マージン微調整を施した複数システムのアンサンブル統合により、最小のminDCF（0.2975）が達成され、すべての個別システムを上回った。
• Emb-Avgスコアリング戦略とアダプティブスコア正規化を組み合わせた結果、第一段階でminDCFが0.3707、最終システムで0.3164まで低減された。
• ResNet221+LMシステムは、スピーカーリトリーブトラックで0.4626のmAPを達成し、優れたリトリーブ能力を示した。
• 初期AAMトレーニングの後に大マージン微調整を実施することで、すべてのモデルでminDCFおよびEERが向上した。特にResNet293+LMは、5.227％の最低EERを記録した。
• 外部データを一切使用せず、CN-Celebトレーニングセットと効果的なデータ拡張に依存することで、強固な性能を維持した。