[論文レビュー] Large-scale learning of generalised representations for speaker recognition

Jee-weon Jung, Hee-Soo Heo+6 more|arXiv (Cornell University)|Oct 20, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文では、多様で大規模なデータセットと高度なアーキテクチャを用いて、スクラッチから訓練された大規模かつ汎用的な話者認識モデルを提案する。MFA-Conformerを用い、87,000人以上の話者と10,220時間の音声を活用したモデルは、4つの評価プロトコルにおいて平均で20%以上の向上を達成し、ECAPA-TDNNのようなCNNベースのベースラインと比較して優れた一般化性能を示している。

ABSTRACT

The objective of this work is to develop a speaker recognition model to be used in diverse scenarios. We hypothesise that two components should be adequately configured to build such a model. First, adequate architecture would be required. We explore several recent state-of-the-art models, including ECAPA-TDNN and MFA-Conformer, as well as other baselines. Second, a massive amount of data would be required. We investigate several new training data configurations combining a few existing datasets. The most extensive configuration includes over 87k speakers' 10.22k hours of speech. Four evaluation protocols are adopted to measure how the trained model performs in diverse scenarios. Through experiments, we find that MFA-Conformer with the least inductive bias generalises the best. We also show that training with proposed large data configurations gives better performance. A boost in generalisation is observed, where the average performance on four evaluation protocols improves by more than 20%. In addition, we also demonstrate that these models' performances can improve even further when increasing capacity.

研究の動機と目的

• 電話通話、ダイアライゼーション、オープンセット識別など、多様な実世界のシナリオに適用可能な単一の汎用的話者認識モデルの開発。
• 自己教師あり学習（SSL）を事前学習に用いずに、スクラッチから大規模な話者埋め込みモデルを訓練することで、最先端の一般化性能を達成できるかの調査。
• モデルアーキテクチャ（例：CNN対比Transformerベース）とトレーニングデータのスケールが、複数の評価プロトコルにおける一般化性能に与える影響の評価。
• 大規模データと組み合わせた場合に、モデル容量（深さ、幅、埋め込み次元）をさらに増加させることで性能が向上するかの検証。
• 複数のデータセットにまたがる統一されたトレーニングおよび評価フレームワークを用いて、一般化可能な話者表現学習のベンチマークを確立すること。

提案手法

• VoxCeleb1/2、NIST SRE、CommonVoice、MLSの複数の公開データセットを組み合わせ、87,000人以上の話者と10,220時間以上の音声を活用して、スクラッチから話者埋め込みモデルを訓練。
• 4つの異なるモデルアーキテクチャ（ECAPA-TDNN、Res2NetSE50、RawNet3、MFA-Conformer）を評価し、MFA-Conformerが最も優れた性能を示した。
• MFA-Conformerモデルでは、エンコーダ出力の連結にアテンション統計プーリングを適用し、発話レベルの埋め込みの品質を向上させた。
• データスケールとドメイン多様性の影響を評価するため、トレーニングデータ構成（v0～v4）を体系的に変化させた。
• モデルの深さ、幅、埋め込み次元を増加させることで、容量の影響を評価するアブレーションスタディを実施した。
• 4つの評価プロトコル（Vox1-O（オープンセット識別）、DIHARD3（ダイアライゼーション）、VoxConverse（会話音声）、NIST SRE 2010（電話通話音声））を用い、クロスシナリオ一般化性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なデータセットを用いてスクラッチから訓練した話者認識モデルは、自己教師あり学習（SSL）モデルや小規模データでの学習と比較して、多様な実世界シナリオにおける一般化性能が優れているか？
• RQ2 同じ大規模データで訓練された場合、特にCNNベース（ECAPA-TDNN）と自己注意ベース（MFA-Conformer）のニューラルアーキテクチャの一般化性能はどのように異なるか？
• RQ3 トレーニングデータ量とモデル容量（パラメータ数）を増加させることで、複数の評価プロトコルにわたる性能向上はどの程度達成されるか？
• RQ4 タスク固有のファインチューニングなしに、単一の統一モデルが電話通話、会話音声、オープンセット識別といった異なるドメインで強力な性能を達成できるか？
• RQ5 VoxCeleb、CommonVoice、NIST SREなど、異なるドメインを有する複数のデータセットを組み合わせることで、単一のデータセットを使用する場合と比較して一般化性能が向上するか？

主な発見

• 自己注意ベースでインダクティブバイアスが最小限のMFA-Conformerは、ECAPA-TDNNのようなCNN優勢なモデルと比較して、4つの評価プロトコルすべてにおいて顕著に優れた一般化性能を示した。
• 最大のデータ構成（v4、88,000人の話者、10.22k時間）を用いたトレーニングにより、ベースラインのv0構成と比較して、すべての評価プロトコルにおける平均性能が20%以上向上した。
• モデル容量の増加（特にネットワークの幅と埋め込み次元の拡張）により、さらに性能向上が達成され、v4構成に幅と埋め込み次元の拡張を組み合わせた場合に最良の結果（平均EER 3.82%）が得られた。
• Vox1-Oでは0.68%のEER、DIHARD3では2.45%のEER、VoxConverseでは3.85%のEER、NIST SRE 2010では8.33%のEERを達成し、多ドメインにわたる高いロバストネスを示した。
• データスケールとモデルサイズを拡大した場合、すべてのプロトコルで性能向上が一貫しており、容量を増加させた際のDIHARD3でのEER低下はわずか0.03%に留まり、特定のタスクに悪影響を与えることはほとんどなかった。
• 多様なデータセット（CommonVoiceやMLSを含む）の組み合わせにより一般化性能が向上したが、単にCommonVoiceデータを追加した場合（v2）には一貫した向上が得られず、データ品質とドメインバランスの重要性が浮き彫りになった。