[論文レビュー] Automatic Speech Recognition for Speech Assessment of Persian Preschool Children

Amirhossein Abaskohi, Fatemeh Mortazavi+1 more|arXiv (Cornell University)|Mar 24, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本論文は、ペルシャ語の未就学児の音声認識に特化したWav2Vec 2.0モデルのための新しい事前学習目的、Random Frequency Pitch (RFP)を提案する。このRFPは、周波数領域における変動に起因する児童の声の認識困難さ（スペクトル的・時間的変動）に対処し、児童の音声認識性能を向上させる。RFPは児童の音声評価タスクにおいて優れた性能を示し、無意味語（MW）および迅速自動命名（RAN）テストで1.35の語誤り率（WER）を達成し、ゼロショットおよびフェイントショット設定でも標準的なマスキング手法を上回る性能を発揮する。

ABSTRACT

Preschool evaluation is crucial because it gives teachers and parents influential knowledge about children's growth and development. The COVID-19 pandemic has highlighted the necessity of online assessment for preschool children. One of the areas that should be tested is their ability to speak. Employing an Automatic Speech Recognition (ASR) system would not help since they are pre-trained on voices that differ from children's in terms of frequency and amplitude. Because most of these are pre-trained with data in a specific range of amplitude, their objectives do not make them ready for voices in different amplitudes. To overcome this issue, we added a new objective to the masking objective of the Wav2Vec 2.0 model called Random Frequency Pitch (RFP). In addition, we used our newly introduced dataset to fine-tune our model for Meaningless Words (MW) and Rapid Automatic Naming (RAN) tests. Using masking in concatenation with RFP outperforms the masking objective of Wav2Vec 2.0 by reaching a Word Error Rate (WER) of 1.35. Our new approach reaches a WER of 6.45 on the Persian section of the CommonVoice dataset. Furthermore, our novel methodology produces positive outcomes in zero- and few-shot scenarios.

研究の動機と目的

• 大人の音声とは音響的差異を示す未就学児のペルシャ語発話における低精度な音声認識（ASR）の課題に対処する。
• 児童の声特徴（高いフォルメントや広い周波数帯域）に最適化されていない標準的なWav2Vec 2.0の事前学習目的の限界を克服する。
• 特に迅速自動命名（RAN）および無意味語（MW）テストを対象として、認知評価を目的としたドメイン適応型ASRシステムを構築する。
• ペルシャ語の低リソース児童音声認識において、ゼロショットおよびフェイントショット設定での一般化性能を向上させる。
• 発達評価の文脈でASRモデルの微調整および評価を目的として、新たに収集したペルシャ語児童音声データセットを公開する。

提案手法

• 自己教師付き事前学習中に、マスク処理された音声パッチにランダムなピッチシフトを適用する新しい事前学習目的、Random Frequency Pitch (RFP)を提案。これにより周波数ドメイン全体にわたるロバスト性が向上する。
• RFPを適用したWav2Vec 2.0モデルを、CommonVoiceデータセットのペルシャ語音声データおよびRANおよびMWタスク用に新たに収集した児童音声データで微調整する。
• 12個のTransformerブロック、d_model = 768、d_ff = 3072、8つのアテンションヘッドを備えた変更版Wav2Vec 2.0アーキテクチャを採用。960時間のLibriSpeech-960英語データ（発話文なし）を用いて学習。
• 事前学習中に、温度τを2から0.5へ段階的に低下させるGumbel-Softmaxと、温度κ = 0.1を用いた対照的損失を適用。
• Google Colab TPU（v2-8）を用いてモデル学習を実施。バッチサイズは64、下流タスクの微調整に50kステップを設定。
• ゼロショット評価は、微調整なしで事前学習済みモデルをペルシャ語CommonVoiceデータセットに直接適用し、フェイントショット評価は15時間分のデータで微調整を実施。

実験結果

リサーチクエスチョン

• RQ1 修正された事前学習目的は、特に低リソースおよびゼロショット設定において、Wav2Vec 2.0のペルシャ語児童音声認識性能を向上させることができるか？
• RQ2 RFPは、RANおよびMWなどの児童の音声評価タスクにおける語誤り率（WER）において、標準的なマスキング手法と比較してどのように優れているか？
• RQ3 RFPは、ペルシャ語ASRにおけるゼロショットおよびフェイントショット設定でのモデル一般化性能をどの程度向上させるか？
• RQ4 RFPによる周波数ドメインの適応は、児童の高いフォルメントや広いスペクトル的変動に起因する性能低下を緩和するか？
• RQ5 大量の児童用トランスクリプションデータを必要とせずに、大人の音声で事前学習した自己教師付きモデルを、RFPを用いて児童の音声認識に効果的に適応可能か？

主な発見

• RFP事前学習目的は、無意味語（MW）および迅速自動命名（RAN）テストで1.35の語誤り率（WER）を達成し、標準的なマスキング手法を顕著に上回る。
• CommonVoiceのペルシャ語セクションにおいて、RFPモデルは6.45のWERを達成し、ペルシャ語児童音声認識分野で最先端の性能を示した。
• ゼロショット評価では、RFPモデルが30.48のWERを達成し、マスキングベースライン（42.30）を上回り、ドメイン一般化性能の向上が示された。
• フェイントショット設定では、15時間分のCommonVoiceデータでRFPモデルを微調整したところ、50kステップで10.42のWERを達成し、マスキングベースライン（12.50）を上回った。
• LibriSpeech-960で事前学習する際、RFPモデルはマスキング目的よりも収束が早く、より低いWERに到達した。これは図6に示されている。
• RFPとマスキングの組み合わせにより、モデルの新しい環境への適応性が向上し、多様な周波数ドメインおよび低リソース設定でも有効であることがわかった。