[論文レビュー] A Wav2vec2-Based Experimental Study on Self-Supervised Learning Methods to Improve Child Speech Recognition

Rishabh Jain, Barcovschi, Andrei+4 more|arXiv (Cornell University)|Apr 6, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本研究では、wav2vec2を用いた自己教師付き事前学習を活用し、最小限の10時間の子供の音声データで微調整することにより、子供の音声認識を改善することを目的としている。10時間の子供のデータでの微調整でも、MySTでは7.42、PFSTARでは2.99、CMU KIDSでは12.47という最先端のWERを達成しており、限られた子供のデータでもwav2vec2 BASE 960を上回る性能を発揮している。

ABSTRACT

Despite recent advancements in deep learning technologies, Child Speech Recognition remains a challenging task. Current Automatic Speech Recognition (ASR) models require substantial amounts of annotated data for training, which is scarce. In this work, we explore using the ASR model, wav2vec2, with different pretraining and finetuning configurations for self-supervised learning (SSL) toward improving automatic child speech recognition. The pretrained wav2vec2 models were finetuned using different amounts of child speech training data, adult speech data, and a combination of both, to discover the optimum amount of data required to finetune the model for the task of child ASR. Our trained model achieves the best Word Error Rate (WER) of 7.42 on the MyST child speech dataset, 2.99 on the PFSTAR dataset and 12.47 on the CMU KIDS dataset as compared to any other previous methods. Our models outperformed the wav2vec2 BASE 960 on child speech which is considered a state-of-the-art ASR model on adult speech by just using 10 hours of child speech data in finetuning. The analysis of different types of training data and their effect on inference is also provided by using a combination of datasets in pretraining, finetuning and inference.

研究の動機と目的

• 自動音声認識（ASR）におけるアノテート済みの子供の音声データの不足に取り組むこと。
• さまざまな事前学習および微調整戦略を用いたwav2vec2の子供用ASRにおける有効性を評価すること。
• 微調整に最適な子供と大人の音声データの量と組み合わせを特定すること。
• MyST、PFSTAR、CMU KIDSを含む多様な子供の音声データセットにおけるモデル性能を比較すること。
• 事前学習、微調整、推論におけるデータ構成がモデルの頑健性に与える影響を分析すること。

提案手法

• さまざまな量の子供の音声データ、大人の音声データ、および混合データを用いて、事前学習済みのwav2vec2モデルを微調整した。
• 性能に与える影響を評価するために、事前学習、微調整、推論におけるさまざまなデータの組み合わせを検討した。
• 大規模なラベルなし音声データを事前学習に使用し、その後に限られたラベル付き子供の音声データで微調整することで、自己教師学習を活用した。
• 標準的なwav2vec2アーキテクチャを採用し、対照的学習による事前学習と、序列変換のための微調整をASRに適用した。
• 標準的なWER評価を用いて、MyST、PFSTAR、CMU KIDSの複数の子供の音声データセットでモデルを訓練した。
• 最適な微調整設定を特定するために、データ構成と量に関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 子供の音声認識における競争力のある性能を達成するために、必要な最小限の子供の音声データ量はどれほどか？
• RQ2 微調整段階で子供と大人の音声データを組み合わせると、子供の音声認識性能にどのように影響するか？
• RQ3 事前学習、微調整、推論におけるデータ構成が、子供の音声データセットにおける最終的なWERに与える影響は何か？
• RQ4 大人の音声で事前学習されたwav2vec2モデルは、最小限の微調整で子供の音声認識において最先端の性能を達成できるか？
• RQ5 事前学習および微調整段階でのさまざまなデータセットの組み合わせが、子供の音声認識への一般化性能に与える影響は何か？

主な発見

• MyST子供の音声データセットにおいて、最先端の語彙誤り率（WER）7.42を達成した。
• PFSTARデータセットではWERが2.99に達し、従来の手法を上回った。
• CMU KIDSデータセットでは、WERが12.47に達し、新たな最先端のベンチマークを樹立した。
• 微調整に10時間の子供の音声データしか使用しなかったにもかかわらず、960時間の大人の音声で事前学習されたwav2vec2 BASE 960モデルを上回る性能を発揮した。
• 微調整段階で子供と大人のデータを組み合わせることで、複数のデータセットにおけるモデルの頑健性と一般化性能が向上した。
• 分析の結果、事前学習および微調整におけるデータ構成が、子供の音声認識における推論性能に顕著に影響することが確認された。