[論文レビュー] VoxSRC 2021: The Third VoxCeleb Speaker Recognition Challenge

Andrew J. Brown, Jaesung Huh+4 more|arXiv (Cornell University)|Jan 12, 2022

Speech Recognition and Synthesis被引用数 34

ひとこと要約

この論文は VoxSRC 2021 チャレンジ、そのトラック（検証とダイアライゼーション）、データ、評価指標、ベースライン、トップ手法、マルチリンガル焦点、結果を説明する。

ABSTRACT

The third instalment of the VoxCeleb Speaker Recognition Challenge was held in conjunction with Interspeech 2021. The aim of this challenge was to assess how well current speaker recognition technology is able to diarise and recognise speakers in unconstrained or `in the wild' data. The challenge consisted of: (i) the provision of publicly available speaker recognition and diarisation data from YouTube videos together with ground truth annotation and standardised evaluation software; and (ii) a virtual public challenge and workshop held at Interspeech 2021. This paper outlines the challenge, and describes the baselines, methods and results. We conclude with a discussion on the new multi-lingual focus of VoxSRC 2021, and on the progression of the challenge since the previous two editions.

研究の動機と目的

• 野外で制約のない多言語条件下での話者認識を促進し評価する。
• 公に公開されたデータ、評価ツール、および公開チャレンジフレームワークを提供する。
• 検証とダイアライゼーションのタスク全般について、VoxSRC 2019および2020以来の進展を評価する。
• 検証性能への多言語の影響と言語の頑健性を分析する。
• 適用可能な場合、オープンなマルチモーダル手法（音声-映像）を促進する。

提案手法

• 検証用の公開 VoxCeleb ベースのデータセット（トラック 1–3）に、新しい多言語テストの焦点を追加する。
• 4 トラック：話者検証 – Closed、Open、Self-supervised (Closed)、話者ダイアライゼーション – Open。
• 標準評価指標：検証は minDCF および EER、ダイアライゼーションは DER および JER。
• 公開ベースライン：検証には VoxSRC 2020 Clova ベースライン；自己监督ベースラインはコントラスト学習を使用；ダイアライゼーションはスライディングウィンドウとクラスタリングのパイプライン。
• トップ手法は強力な CNN バックボーン（RepVGG、ResNet）、高度なオーギュメンテーション、AM-Softmax/AAM-softmax を用いた二段階学習と大きなマージン微調整、自己監視トラックでのマルチモーダル（音声-映像）統合を採用。
• マルチリンガル分析は言語ペアの検討と ROC 分析を用いて、同一言語検証と跨言語検証を評価した。

実験結果

リサーチクエスチョン

• RQ1 最先端の話者検証およびダイアライゼーションシステムは、制約のない多言語条件下でどのように性能を発揮するか？
• RQ2 一般的な言語間での検証精度に対する多言語データの影響は何か？
• RQ3 自己監視およびマルチモーダル手法は、VoxSRC 2021で監督付きベースラインを上回るか？
• RQ4 困難な多話者セグメント下でのダイアライゼーションの主要手法とデータ融合戦略は何か？
• RQ5 類似のテストプロトコル下で、VoxSRC のエディション間（2019–2021）の性能推移はどうなっているか？

主な発見

トラック / 表	ヘッダ	（適用可能な場合）
表3: 話者検証トラックの受賞者（Tracks 1, 2 および 3）。	順位	チーム名	組織	DER	JER
	-	ベースライン	提供済み	0.351	38.72
	JTBD [ 13 ]	IDLab, Ghent University, Belgium	0.129	2.27
	Beijing ZKJ-NPU [ 14 ]	Beijing ZKJ Technology Ltd, Northwestern Polytechnical Uni.	0.118	2.84
	snowstar [ 15 ]	SpeakIn Technologies Co. Ltd.	0.103	1.85
表4: 話者ダイアライゼーション トラックの受賞者（Track 4）。	順位	チーム名	組織	DER	JER
	-	ベースライン	提供済み	17.99	38.72
	njz [ 19 ]	Tencent AI Lab, China	5.32	24.50
	chen2101 [ 20 ]	Bytedance SAMI lab, China	5.15	26.02
	strato [ 21 ]	Duke Kunshan Uni., China & Duke Uni., USA & Lenovo Research, China	5.07	29.16
表5: 2019, 2020, 2021 テストセットにおける手法の比較 (% EER)。	手法	2019 テスト	2020 テスト	2021 テスト
	VoxSRC 2019 ウィナー [ 53 ]	1.42	-	-
	VoxSRC 2020 ウィナー [ 36 ]	0.80	3.73	-
	VoxSRC 2020 2nd place [ 54 ]	0.75	3.81	-
	VoxSRC 2021 ウィナー [ 15 ]	0.57	-	1.85
	VoxSRC 2021 2nd place [ 14 ]	0.62	-	2.84

• トップ検証トラック（Track 1 および 2）は、RepVGG/ResNet のバックボーンと広範なオーギュメンテーション、二段階学習を用いるチームが制覇し、minDCF 0.18 および EER 2.84%（2位）と 0.103 minDCF / 1.85% EER（1位）を達成。
• 自己監視トラック（Track 3）は、音声-映像データと反復的な疑似ラベル付けを活用し、モーダルの統合を用いて 0.341 minDCF、5.59% EER を達成。
• ダイアライゼーション トラック 4 の結果は DER 5.07%（優勝）を示し、競争的な範囲の DER で、上位チーム間の差は1位と10位の間で1%未満の差だった。
• マルチリンガル分析では、ベースラインモデルは言語依存の性能ばらつきを示し、優勝手法は言語を跨いで改善したものの、サンプル数が少ない言語間で依然として格差が残った。
• 2021年のマルチリンガルテストセットは、一般に過去年より難易度が高く、2019年のテストセットで評価した場合、2019–2020の受賞者に比べて性能が大きく向上しており、迅速な方法論的進歩を示している。