[論文レビュー] Improving Non-native Word-level Pronunciation Scoring with Phone-level Mixup Data Augmentation and Multi-source Information

Kaiqi Fu, Shaojun Gao+4 more|arXiv (Cornell University)|Mar 1, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、低リソース環境下における非ネイティブ単語レベル発音スコアリングの改善を目的として、電話レベルのミックスアップデータ拡張を提案する。訓練データからの電話レベル特徴量とGOPスコアを組み合わせることで、多様な発音スコアを持つ合成語を生成し、モデルの一般化性能を向上させる。Speechocean762における実験では、ピアソン積率相関係数（PCC）が0.610に上昇し、0.043の向上を達成。実データの1/10のデータ量で、ベースラインを上回る性能を示した。

ABSTRACT

Deep learning-based pronunciation scoring models highly rely on the availability of the annotated non-native data, which is costly and has scalability issues. To deal with the data scarcity problem, data augmentation is commonly used for model pretraining. In this paper, we propose a phone-level mixup, a simple yet effective data augmentation method, to improve the performance of word-level pronunciation scoring. Specifically, given a phoneme sequence from lexicon, the artificial augmented word sample can be generated by randomly sampling from the corresponding phone-level features in training data, while the word score is the average of their GOP scores. Benefit from the arbitrary phone-level combination, the mixup is able to generate any word with various pronunciation scores. Moreover, we utilize multi-source information (e.g., MFCC and deep features) to further improve the scoring system performance. The experiments conducted on the Speechocean762 show that the proposed system outperforms the baseline by adding the mixup data for pretraining, with Pearson correlation coefficients (PCC) increasing from 0.567 to 0.61. The results also indicate that proposed method achieves similar performance by using 1/10 unlabeled data of baseline. In addition, the experimental results also demonstrate the efficiency of our proposed multi-source approach.

研究の動機と目的

• 単語レベル発音スコアリングのためのアノテート済み非ネイティブ音声データが限られる課題に対処すること。
• ラベル付きデータが乏しく、収集にコストがかかる低リソース状況におけるモデル一般化性能の向上。
• 単語レベルで多様で現実的な発音バリエーションを生成するデータ拡張手法の開発。
• MFCCとディープ特徴量のマルチソース特徴量が発音スコアリング性能に与える効果の調査。
• ラベル付きデータが限られる状況で、電話レベルミックスアップによる合成データが、実データと同等またはそれ以上の性能を達成可能であることを実証すること。

提案手法

• 電話レベルミックスアップの提案：各単語について、訓練データから電話レベル特徴量とGOPスコアをランダムに抽出し、新たな単語レベルのサンプルを合成する。
• 既存の訓練データから電話レベル特徴量とGOPスコアのプールを構築し、任意の電話の組み合わせで新しい単語を形成可能にする。
• 各拡張済み単語の発音スコアとして、構成する電話の平均GOPスコアを用いる。
• MFCCとディープ音声特徴量をマルチソース入力として組み合わせ、スコアリングモデルの識別能力を向上させる。
• 実際のラベルなしデータとミックスアップで生成された合成データの混合を用いて事前学習することで、一般化性能を向上させる。
• 予測スコアと人間アノテートスコアのピアソン積率相関係数（PCC）を評価指標として、モデル最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 電話レベルミックスアップによるデータ拡張は、低リソース環境下での単語レベル発音スコアリング性能を向上させることができるか？
• RQ2 データ量が制限される状況で、本手法の性能は実データを用いたベースラインと比べてどうなるか？
• RQ3 MFCCとディープ特徴量（マルチソース入力）を組み合わせることで、単独で使用する場合よりも発音スコアリング性能が向上するか？
• RQ4 過学習を避けるために、性能を最大化する最適な拡張データ量はどの程度か？
• RQ5 実データ量を10倍に増やした場合に、ミックスアップで生成された合成データが実データと同等の性能を達成できるか？

主な発見

• 提案手法により、ピアソン積率相関係数（PCC）はベースラインの0.567から0.610に上昇し、0.043の顕著な向上を達成した。
• 実際のラベルなし単語50,000個とミックスアップで生成された500,000個（合計500,000個）のデータを用いたモデルが、PCC 0.610を達成。500,000個の実データで事前学習したベースラインを上回った。
• ミックスアップ事前学習を施したシステムは、実データを10倍使用した実データベースラインと同等の性能を示し、データ効率の高さを実証した。
• MFCCとディープ特徴量を組み合わせたマルチソース入力が最も高い性能を示し、情報の相補性が裏付けられた。
• 500,000個を超える拡張サンプルでは性能が頭打ちとなり、それ以上のデータ量では利得が減少することが示唆された。
• ディープ特徴量単体でもMFCCより優れた性能を示し、両者の組み合わせによりさらなる性能向上が確認され、相補的であることが裏付けられた。