[論文レビュー] Investigating the role of L1 in automatic pronunciation evaluation of L2 speech

Ming Tu, Anna Grabek+2 more|arXiv (Cornell University)|Jul 4, 2018

Speech Recognition and Synthesis参考文献 14被引用数 6

ひとこと要約

本稿では、発音のなまり度合いを予測するため、L1およびL2音声モデルを併用する新しい自動発音評価システムを提案する。L1およびL2モデルから抽出した音素レベルの信頼度スコアを統合し、固定次元の発話レベル特徴ベクトルにすることで、中国語、スペイン語、ドイツ語、フランス語の4つのL1背景において、人間の評価スコアとの相関が向上し、人間の評価者が発話者のL1を知らない場合でも一貫した性能向上が得られた。

ABSTRACT

Automatic pronunciation evaluation plays an important role in pronunciation training and second language education. This field draws heavily on concepts from automatic speech recognition (ASR) to quantify how close the pronunciation of non-native speech is to native-like pronunciation. However, it is known that the formation of accent is related to pronunciation patterns of both the target language (L2) and the speaker's first language (L1). In this paper, we propose to use two native speech acoustic models, one trained on L2 speech and the other trained on L1 speech. We develop two sets of measurements that can be extracted from two acoustic models given accented speech. A new utterance-level feature extraction scheme is used to convert these measurements into a fixed-dimension vector which is used as an input to a statistical model to predict the accentedness of a speaker. On a data set consisting of speakers from 4 different L1 backgrounds, we show that the proposed system yields improved correlation with human evaluators compared to systems only using the L2 acoustic model.

研究の動機と目的

• L2発話の自動発音評価において、L1音声モデルを組み込むことで性能が向上するかを調査すること。
• 従来のシステムがL2音声モデルに依存するため、L1に起因する発音のずれを捉え損ねるという限界を是正すること。
• L1およびL2モデルの信頼度スコアを統合する特徴抽出方式を構築し、なまり度合いの予測を改善すること。
• 人間がアノテートしたなまり度合いスコアを備えた多様な言語のデータセットを用いて、本手法を評価すること。このデータセットには4つのL1背景の話者が含まれる。
• 人間の評価者が話者のL1を知らない状況でも、L1にインスパイアされた特徴がモデル性能を向上させるかを検証すること。

提案手法

• L2音声モデルによる強制アライメントを用いて、L2音声モデル（PS_L2）とL1音声モデル（PS_L1）の両方から音素レベルの信頼度スコアを抽出する。
• PS_L1スコアは、非ネイティブなL2発音が話者のL1に最も近い音素にどれほど一致するかを測定し、L1の影響（伝達効果）を捉える。
• 発話レベル特徴抽出方式により、音素レベルの信頼度スコアを固定次元のベクトルに集約し、統計モデルへの入力として利用する。
• 線形回帰モデルを訓練し、PS_L2およびPS_L1の特徴を組み合わせて人間がアノテートしたなまり度合いスコアを予測する。
• GMU Speech Accent Archiveのサブセットを用い、1人ずつ話者を除外する交差検証法（leave-one-speaker-out cross-validation）を実施。各話者に対して13名の人の評価者が関与した。
• 性能評価にはピアソン積率相関係数（PCC）と平均絶対誤差（MAE）を用い、ドイツ語およびフランス語話者のデータに対してはダウンサンプリングによるデータバランス化を実施した。

Figure 2: System diagram.

実験結果

リサーチクエスチョン

• RQ1 L1音声モデル特徴を組み込むことで、L2音声モデルのみを用いた場合よりも自動発音評価の性能が向上するか？
• RQ2 L1にインスパイアされた特徴を含めることで、多様なL1背景において人間がアノテートしたなまり度合いスコアとの相関が向上するか？
• RQ3 人間の評価者が話者のL1を知らない状況でも、L1特徴による性能向上が一貫して得られるか？
• RQ4 L1特徴の寄与度は、異なるL1間でどのように変化するか。また、性能差を説明する要因は何か？
• RQ5 このフレームワークは、L1固有の誤りとL1に依存しない誤りを区別できるか？

主な発見

• PS_L2およびPS_L1の両方の特徴を用いた本手法は、4つのL1すべてでベースラインモデル（PS_L2のみ）よりも高いピアソン積率相関係数（PCC）を達成した。中国語（0.727 vs. 0.707）、スペイン語（0.730 vs. 0.681）、ドイツ語（0.833 vs. 0.751）、フランス語（0.556 vs. 0.371）の順に向上した。
• PS_L1特徴を追加することで、すべてのL1グループで平均絶対誤差（MAE）が低減し、予測精度の向上が示された。
• PS_L1特徴による性能向上は、ドイツ語およびフランス語のグループで低いベースライン性能であったにもかかわらず、4つのL1すべてで一貫して得られた。
• ドイツ語およびフランス語話者のデータセットをダウンサンプリングしてラベル分布を均一化したことで、モデル性能が向上した。これは、ラベル分布がモデル学習に影響を与える可能性を示唆している。
• 結果から、人間の評価者がL1の背景を知らない状況でも、L1音声モデルはなまり度合い予測に意味のある補足的情報を提供することがわかった。
• 本研究は、L1にインスパイアされた特徴が自動発音評価を向上させられることを示しており、L1の伝達がL2発音のずれに顕著な役割を果たすという仮説を支持する。