[論文レビュー] JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification

Shinnosuke Takamichi, Ludwig Kürzinger+3 more|arXiv (Cornell University)|Dec 17, 2021

Speech Recognition and Synthesis被引用数 12

ひとこと要約

本論文では、YouTube動画から自動的に構築された大規模な日本語音声コーパス、JTubeSpeechを紹介する。これは、エンドツーエンドの自動音声認識（ASR）および発話者認証（ASV）を目的としている。CTCベースのASRを用いた音声・字幕の同期処理と、話者のばらつき分析によるフィルタリングにより、言語固有の処理を最小限に抑えられる。コーパスはASR用に1,300時間以上、ASV用に900時間の学習データを提供し、パイロット段階のASVベンチマークで10.9%のEERを達成し、最先端の性能を示している。

ABSTRACT

In this paper, we construct a new Japanese speech corpus called "JTubeSpeech." Although recent end-to-end learning requires large-size speech corpora, open-sourced such corpora for languages other than English have not yet been established. In this paper, we describe the construction of a corpus from YouTube videos and subtitles for speech recognition and speaker verification. Our method can automatically filter the videos and subtitles with almost no language-dependent processes. We consistently employ Connectionist Temporal Classification (CTC)-based techniques for automatic speech recognition (ASR) and a speaker variation-based method for automatic speaker verification (ASV). We build 1) a large-scale Japanese ASR benchmark with more than 1,300 hours of data and 2) 900 hours of data for Japanese ASV.

研究の動機と目的

• ASRおよびASV向けに大規模でオープンソースの日本語音声コーパスが不足している問題に対処すること。
• YouTubeから音声データを収集・フィルタリングする言語に依存しない自動パイプラインの開発。
• エンドツーエンドモデルの学習に適した、現代的サイズかつ高品質なコーパスの構築。
• ASRおよびASV用のベンチマークを構築し、測定可能な性能を示すことで、手法の有効性を実証すること。

提案手法

• 自動検索クエリを用いてYouTubeから動画・音声および字幕データを収集する。
• CTCベースのASRとCTCセグメンテーションを用い、字幕と音声を同期させ、フィルタリング用の信頼度スコアを計算する。
• 動画内での話者表現のばらつきを用いて、単一話者、複数話者、TTS風コンテンツを分類・フィルタリングする。
• VADと事前学習済みdベクトルを用いて、動画内での話者ばらつきを計算し、データのクリーニングを実施する。
• ASV設定における登録およびテスト用に、単一話者動画から一意な話者を抽出する。
• 40次元のlog-Mel特徴量と512次元の埋め込みを用い、CNNベースの話者埋め込みモデルを訓練し、ASV評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 言語に依存しない手法が、YouTubeからASRおよびASV向けに高品質な日本語音声データを効果的に収集・フィルタリングできるか。
• RQ2 YouTubeから自動収集されたデータ量の増加に伴い、ASRモデルの性能はどのように変化するか。
• RQ3 話者ばらつき分析は、構造のないYouTube動画において、単一話者と複数話者または合成音声コンテンツを信頼性高く区別できるか。
• RQ4 自動フィルタリングにより構築された大規模でオープンソースの日本語コーパスを用いて訓練された発話者認証システムの性能はどの程度か。

主な発見

• JTubeSpeechコーパスには、日本語ASR用に1,300時間以上、CSJ（600時間）よりも大幅に大きな学習データが含まれている。
• ASR性能は学習データ量の増加に伴い一貫して向上し、最適なスコアしきい値を用いた1,376時間のデータでdev_easyで6.9%のWERを達成した。
• CTCセグメンテーションにより、元のYouTubeのタイミングを使用した場合と比較して、dev_easyで2.3%、dev_normalで2.2%のASR性能向上が達成された。
• 話者ばらつきに基づくフィルタリング手法は、動画タイプの分類において高い正確性を示し、アノテート済みの単一話者動画の95%が正しく分類された。
• ASVシステムはパイロットベンチマークで10.9%の等誤差率（EER）を達成し、VoxCeleb1で訓練されたモデルと同等の高い性能を示した。
• コーパス構築パイプラインは言語依存処理を最小限に抑え、他の言語に対しても高い再現性を示した。