[論文レビュー] CN-Celeb: multi-genre speaker recognition

Lantian Li, Ruiqi Liu+7 more|arXiv (Cornell University)|Dec 23, 2020

Speech Recognition and Synthesis参考文献 68被引用数 9

ひとこと要約

本稿では、11ジャンルにまたがる3,000人の話者を含む大規模なマルチジャンル話者認識コーパス「CN-Celeb」と、話者認識におけるジャンル不一致の影響について包括的な研究を提示する。CN-Celeb2（52万件の発話、2,000人の話者）とCN-Celeb1を用いて、マルチジャンル学習が性能を顕著に向上させることを示した—x-vectorシステムを用いた場合、EERはSG学習の16.59％からMG学習の13.44％に低下した。これは、セッション間変動に対する耐性を高めるために、ジャンルを跨ぐデータが極めて重要であることを示している。

ABSTRACT

Research on speaker recognition is extending to address the vulnerability in the wild conditions, among which genre mismatch is perhaps the most challenging, for instance, enrollment with reading speech while testing with conversational or singing audio. This mismatch leads to complex and composite inter-session variations, both intrinsic (i.e., speaking style, physiological status) and extrinsic (i.e., recording device, background noise). Unfortunately, the few existing multi-genre corpora are not only limited in size but are also recorded under controlled conditions, which cannot support conclusive research on the multi-genre problem. In this work, we firstly publish CN-Celeb, a large-scale multi-genre corpus that includes in-the-wild speech utterances of 3,000 speakers in 11 different genres. Secondly, using this dataset, we conduct a comprehensive study on the multi-genre phenomenon, in particular the impact of the multi-genre challenge on speaker recognition and the performance gain when the new dataset is used to conduct multi-genre training.

研究の動機と目的

• 話者認識におけるジャンル不一致という重要な課題に取り組むこと。具体的には、登録時とテスト時の条件が著しく異なる状況（例：読み上げ vs. 歌唱）を想定する。
• 従来のコーパスが小規模かつ制御された環境下で収録されているという限界を克服するため、大規模な屋外環境を想定したマルチジャンルデータセット「CN-Celeb2」を導入すること。
• 最先端のシステムがマルチジャンル条件下で性能が低下する理由を調査し、マルチジャンル学習の有効性を評価すること。
• 部分的または完全なマルチジャンルデータ収集が、話者認識システムの性能向上に有意義な貢献をもたらすかどうかを特定すること。

提案手法

• 著者らは、11のジャンル（屋外および制御された両方の記録を含む）にまたがる2,000人の中国の有名人からなる、52万件の発話を含む大規模なマルチジャンルコーパス「CN-Celeb2」を収集・公開した。
• 以前に発表されたCN-Celeb1（1,000人の話者、270時間）と組み合わせることで、包括的な学習と評価に用いるための完全なCN-Celebコーパスを構築した。
• i-vectorおよびx-vectorのフロントエンドモデルにPLDAバックエンドスコアリングを適用し、単一ジャンル（SG）とマルチジャンル（MG）の学習方式を比較することで、話者認識性能を評価した。
• クロスジャンル話者が含まれる完全なMG学習、クロスジャンル話者が含まれない部分的MG学習、およびSG学習を比較するアブレーションスタディを実施し、ジャンル多様性の影響を分離した。
• コサインスコアリングと等誤差率（EER）を主な指標として用い、異なる学習およびテスト条件下でのシステムの耐性を評価した。
• データの不均衡および学習集合とテスト集合の整合性が、特にi-vectorのような生成モデルに与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 実世界の屋外環境下で、最先端の話者認識システムにおけるジャンル不一致が性能に与える影響はどの程度か？
• RQ2 マルチジャンル学習は、話者認識におけるセッション間変動に対してどの程度耐性を高めるか？
• RQ3 クロスジャンル話者が含まれない部分的なマルチジャンルデータ（完全なクロスジャンルカバレッジなし）は、単一ジャンル学習に比べて性能向上をもたらすか？
• RQ4 フロントエンド（i-vector/x-vector）およびバックエンド（PLDA）モデルは、マルチジャンル学習からどの程度の恩恵を受けるか？特に、どのコンponentが最も大きな向上を示すか？
• RQ5 データサイズ、ジャンル多様性、および学習の整合性のうち、マルチジャンルシナリオにおけるシステム汎化性能に与える相対的影響は何か？

主な発見

• マルチジャンル学習は話者認識性能を顕著に向上させ、x-vectorシステムにPLDAスコアリングを適用した場合、EERはSG学習の16.59％からMG学習の13.44％に低下した。
• i-vectorシステムでは、MG学習を用いることでEERが1.58％改善（20.88％から19.29％）し、データの整合性の重要性が示された。
• クロスジャンル話者が含まれない部分的マルチジャンル学習でも、SG学習を上回る性能を示し、x-vectorシステムではEERが16.59％から14.76％に低下した。これは、完全なクロスジャンルカバレッジがなくてもマルチジャンルデータに価値があることを示唆している。
• フロントエンドおよびバックエンド両方のモデルをマルチジャンルデータで学習した完全なMG学習が最良の性能を示し、x-vectorシステムではEERが13.44％、i-vectorシステムでは14.81％を記録した。
• SG学習とMG学習の性能差は、x-vectorシステムで顕著に現れ（EERは20.35％ vs. 20.13％）、深層学習モデルが訓練データがバランスしている場合、マルチジャンルデータの恩恵をより大きく受けることが示された。
• 本研究では、マルチジャンルの課題が実世界の話者認識における主要なボトルネックであることが確認された。SITWからCN-Celebに切り替えた際、EERは300％上昇（3.75％から15.52％）した。