[論文レビュー] UNISOUND System for VoxCeleb Speaker Recognition Challenge 2023

Yufeng Zheng, Yajun Zhang+4 more|arXiv (Cornell University)|Aug 24, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、VoxSRC 2023 スピーカー認識チャレンジのトラック1で1位、トラック2で2位を獲得した UNISOUND システムを提示する。本手法は、音声クロップ間での埋め込み安定性を活用する一貫性に配慮したスコアキャリブレーション手法（一貫性測定要因：CMF）を導入し、大規模な ResNet および RepVGG ベースライン、データ拡張、スコア統合を組み合わせ、minDCF 0.0855、EER 1.5880% を達成した。

ABSTRACT

This report describes the UNISOUND submission for Track1 and Track2 of VoxCeleb Speaker Recognition Challenge 2023 (VoxSRC 2023). We submit the same system on Track 1 and Track 2, which is trained with only VoxCeleb2-dev. Large-scale ResNet and RepVGG architectures are developed for the challenge. We propose a consistency-aware score calibration method, which leverages the stability of audio voiceprints in similarity score by a Consistency Measure Factor (CMF). CMF brings a huge performance boost in this challenge. Our final system is a fusion of six models and achieves the first place in Track 1 and second place in Track 2 of VoxSRC 2023. The minDCF of our submission is 0.0855 and the EER is 1.5880%.

研究の動機と目的

• VoxCeleb2-dev データのみを用いて、VoxSRC 2023 チャレンジ向けの高性能なスピーカー認識システムを開発すること。
• 高度なモデルアーキテクチャとデータ拡張を用いて、システムのロバスト性と精度を向上させること。
• 類似度スコアの信頼性を向上させる、画期的な一貫性に配慮したスコアキャリブレーション手法を導入すること。
• クローズドセット評価プロトコル（トラック1）およびオープンセット評価プロトコル（トラック2）の両方で、最先端のパフォーマンスを達成すること。

提案手法

• VoxCeleb2-dev データのみを用いて、最大518層の大型 ResNet および RepVGG-B1 ベースラインを訓練し、3倍速のデータ拡張および RIR/MUSAN を用いたデータ拡張を実施した。
• 語りかけ検出を用いず、平均正規化を施した80次元のログメルフィルタバンク特徴量を抽出した。
• 4クエリおよび16ヘッドを用いたマルチクエリマルチヘッドアテンション（MQMHA）プーリングを採用し、ResNet では標準偏差のみ、RepVGG では平均と標準偏差の両方を用いた。
• 2段階訓練においてマージンスケジューリングと学習率の減衰を適用し、AM-Softmax および AAM-Softmax 損失関数を用いた。
• 提案手法のスコアキャリブレーションとして、一貫性測定要因（CMF）を導入：CMF = (1/N) * ||Σ(x_i / ||x_i||)|| で、時間的クロップ間での埋め込みの一貫性を測定する。
• さらに、AS-Norm および QMF（品質に配慮したモデル統合）を適用し、複数モデルからのスコアをキャリブレーションおよび統合した。

実験結果

リサーチクエスチョン

• RQ1 VoxCeleb2-dev でのみ学習した単一のシステムが、外部データを一切使用せずに、VoxSRC 2023 チャレンジでトップクラスのパフォーマンスを達成できるか？
• RQ2 一貫性測定要因（CMF）は、音声クロップ間での埋め込み安定性を定量化することにより、どのようにスピーカー認識性能を向上させるか？
• RQ3 ResNet ベースモデルではプーリング層で標準偏差のみを用いることと、平均と標準偏差の両方を用いることの違いは何か？
• RQ4 CMF、AS-Norm、QMF の組み合わせは、クローズドセットおよびオープンセット評価セットの両方で、システムパフォーマンスをどの程度向上させるか？
• RQ5 VoxCeleb2-dev データが限られた状況下でも、ResNet518 や RepVGG-B1 といった大規模なディープネットワークが、より小さいモデルを上回る性能を発揮できるか？

主な発見

• 最終的なシステム（6モデルの統合：ResNet314、ResNet518、RepVGG-B1）は、VoxSRC2023 テストセットで minDCF 0.0855、EER 1.5880% を達成した。
• CMFに基づくキャリブレーション手法は、ベースラインのバックエンド手法と比較して minDCF を 6.6% 減少させ、開発セットでのパフォーマンスを顕著に向上させた。
• 2秒の音声クロップを用いたCMF法は、2秒クロップのセグメントスコアリングよりも優れており、minDCFを 0.1190 から 0.1080 に低下させた。
• CMF法は、短時間音声（2秒）のスコアリングにおいて、EERを1.3%、minDCFを1.1% それぞれ向上させた。
• CMF、AS-Norm、QMF を統合したモデルの統合は、VoxSRC2023 テストセットで 1.760% のEER、0.0993 のminDCFを達成し、すべてのベースラインを上回った。
• 本システムは、VoxSRC 2023 のトラック1で1位、トラック2で2位を獲得し、VoxCeleb1-E および VoxCeleb1-H において、先行研究と比較して minDCF でそれぞれ 12.1%、6.8% の相対的改善を達成した。