[論文レビュー] The DKU-DukeECE System for the Self-Supervision Speaker Verification Task of the 2021 VoxCeleb Speaker Recognition Challenge

Danwei Cai, Ming Li|arXiv (Cornell University)|Sep 7, 2021

Speech Recognition and Synthesis参考文献 22被引用数 10

ひとこと要約

本論文は、2021年 VoxCeleb スピーカーレコognitionチャレンジ向けに開発された DKU-DukeECE システムを提示する。このシステムは、クラスターエンsembleを用いて統合された音声および視覚的偽ラベルを活用する反復的・マルチモーダル自己教師付きフレームワークを導入し、スピーカー表現学習の向上を図っている。本手法は開発セットで5.58%のEER、テストセットで5.59%のEERを達成し、自己教師付きスピーカーレコognitionにおける反復的偽ラベル付けとクロスモダリティ知識蒸留の有効性を示している。

ABSTRACT

This report describes the submission of the DKU-DukeECE team to the self-supervision speaker verification task of the 2021 VoxCeleb Speaker Recognition Challenge (VoxSRC). Our method employs an iterative labeling framework to learn self-supervised speaker representation based on a deep neural network (DNN). The framework starts with training a self-supervision speaker embedding network by maximizing agreement between different segments within an utterance via a contrastive loss. Taking advantage of DNN's ability to learn from data with label noise, we propose to cluster the speaker embedding obtained from the previous speaker network and use the subsequent class assignments as pseudo labels to train a new DNN. Moreover, we iteratively train the speaker network with pseudo labels generated from the previous step to bootstrap the discriminative power of a DNN. Also, visual modal data is incorporated in this self-labeling framework. The visual pseudo label and the audio pseudo label are fused with a cluster ensemble algorithm to generate a robust supervisory signal for representation learning. Our submission achieves an equal error rate (EER) of 5.58% and 5.59% on the challenge development and test set, respectively.

研究の動機と目的

• 反復的偽ラベル付けを用いて、ラベルなし音声・視覚データを活用することで自己教師付きスピーカーレコognitionを向上させること。
• クラスターエンセムアルゴリズムを用いて音声および視覚的偽ラベルを統合することで、判別性の高いスピーカー表現学習を強化すること。
• 反復的改善による偽ラベルの精錬を通じて、手動アノテーションへの依存度を低減し、モデル性能をブートストラップすること。
• 音声および視覚モダリティの相補的利点が、自己教師付き学習におけるスピーカーレコognitionに与える影響を調査すること。
• 自己教師付き学習タスクにおけるSOTA（最先端）性能を、VoxSRC 2021の自己教師付きスピーカーレコognitionタスクで達成すること。

提案手法

• フレームワークは、拡張されたビューを用いたインスタンス識別を伴う対照的自己教師付き学習（CSL）により、音声データを用いて音声エンコーダーを事前学習することで開始される。
• 事前学習済みモデルから得られた音声表現をk-meansを用いてクラスタリングし、教師あり学習用の初期偽ラベルを生成する。
• 音声クラスタリングから導出された偽ラベルを用いて視覚エンコーダーを学習し、視覚表現も同様にクラスタリングして視覚的偽ラベルを生成する。
• 音声および視覚的偽ラベルをクラスターエンセムアルゴリズムを用いて統合し、表現学習のための強固な統合監視信号を生成する。
• 反復的に、前回のラウンドで更新された偽ラベルを用いて、スピーカーおよび顔認識表現ネットワークを再訓練することで、モデルを改善する。
• 最終段階のモデルは、ラベルスムージング、Squeeze-Excitationモジュール、およびAAM-softmax損失を用いて訓練され、スコアは適応的対称スコア正規化（AS-Norm）を用いて正規化される。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルデータを用いた反復的偽ラベル付けは、対照的事前学習を超えて自己教師付きスピーカー表現学習を向上させることができるか？
• RQ2 クラスターエンセムによる音声および視覚的偽ラベルの統合は、スピーカーレコognitionのロバスト性および正確性をどのように向上させるか？
• RQ3 自己教師付きモデルは、ノイズの多い偽ラベルの反復的精錬を通じて、どの程度自らの判別力をブートストラップできるか？
• RQ4 音声データが限られているかノイズが多い状況下で、視覚モダリティがスピーカーエンベッディング品質を向上させる貢献度はどの程度か？
• RQ5 単一モダリティの自己教師付き学習と比較して、マルチモーダル偽ラベル統合はEERおよびクラスタリング品質の観点でどの程度優れているか？

主な発見

• 本システムは、VoxSRC 2021の開発セットで等誤差率（EER）5.58%、テストセットで5.59%を達成し、優れた一般化性能を示した。
• 4ラウンドの反復的学習後、音声クラスタリングのNMIは0.95196に達し、スピーカー構造を的確に反映する高品質な偽ラベルであることが示された。
• 4ラウンド後、視覚クラスタリングのNMIは0.95462に達し、音声に起因する偽ラベルを用いて視覚的スピーカー表現が効果的に学習されたことが示された。
• 統合された偽ラベルのNMIは0.95862に達し、クラスターエンセムが両モダリティからの補完的情報を効果的に統合していることが示された。
• 最終統合システムは、スコア正規化後、開発セットでminDCF 0.315、EER 5.578%、テストセットでEER 5.594%を達成した。
• 最終段階のシステムでSqueeze-ExcitationモジュールとAAM-softmax損失を用いることで、さらに性能向上が見られ、偽ラベルデータに対するアーキテクチャの強化の有効性が裏付けられた。