[論文レビュー] Foreign English Accent Adjustment by Learning Phonetic Patterns

Fedor Kitashov, Elizaveta Svitanko+1 more|arXiv (Cornell University)|Jul 9, 2018

Speech Recognition and Synthesis参考文献 12被引用数 9

ひとこと要約

この論文では、少量のアクセント付き発音データから自動的に音韻一般化を学習する統計モデルを提案し、それを用いてCMU発音辞書から数百万のアクセント付き語の変形を生成する。これらの合成アクセント付きサンプルを用いてシーケンス・ツー・シーケンスRNNを訓練することで、非ネイティブ英語発音の認識に59％の正確性を達成し、人為的に導出された音韻規則を人為的アクセントパターンのアノテーションなしに効果的に模倣している。

ABSTRACT

State-of-the-art automatic speech recognition (ASR) systems struggle with the lack of data for rare accents. For sufficiently large datasets, neural engines tend to outshine statistical models in most natural language processing problems. However, a speech accent remains a challenge for both approaches. Phonologists manually create general rules describing a speaker's accent, but their results remain underutilized. In this paper, we propose a model that automatically retrieves phonological generalizations from a small dataset. This method leverages the difference in pronunciation between a particular dialect and General American English (GAE) and creates new accented samples of words. The proposed model is able to learn all generalizations that previously were manually obtained by phonologists. We use this statistical method to generate a million phonological variations of words from the CMU Pronouncing Dictionary and train a sequence-to-sequence RNN to recognize accented words with 59% accuracy.

研究の動機と目的

• 手動による規則作成なしに、限られたアクセント付き発音データから音韻一般化を自動で抽出すること。
• 学習された音声パターンをネイティブ発音に適用することで、大規模かつ多様なアクセント付き英単語データセットを生成すること。
• 合成アクセント付き訓練データを用いて、非ネイティブアクセントの自動音声認識（ASR）性能を向上させること。
• シーケンス・ツー・シーケンスRNNが統計的に導出されたアクセントパターンから学習することで、アクセント付き発音を効果的に補正できることを示すこと。

提案手法

• モデルは、アクセント付き発音表記を一般アメリカ英語（GAE）の基準と比較する統計的手法を用い、音素レベルでの挿入、削除、置換を同定する。
• 音声レベルの統計テーブルを構築し、アクセント変異における置換、挿入、削除、出現頻度を追跡する。
• 169個のIPA文字（GMUデータセットより）をCMU辞書の39音素にマッピングするリダクション辞書を構築し、相互運用性とスケーラビリティを実現する。
• 学習された音韻規則をCMU辞書のエントリに適用することで、100万個のアクセント付き語の変形を生成する。
• 双方向LSTMエンコーダーと自己回帰的デコーダーを備えたシーケンス・ツー・シーケンスRNNを、アクセント付き表記を標準GAE形式に変換するように訓練する。
• モデルは、主にロシア語影響のアクセント付きサンプル80万件（バッチサイズ4096）を用い、RMSpropを用い、100エポックで訓練する。

実験結果

リサーチクエスチョン

• RQ1 統計モデルは、少量のアクセント付き発音サンプルから自動的に音韻一般化を学習できるか？
• RQ2 自動的に学習されたアクセントパターンは、多様で現実的なアクセント付き語の変形をどれほど効果的に生成できるか？
• RQ3 合成アクセント付きデータを用いて訓練されたシーケンス・ツー・シーケンスRNNは、非ネイティブ発音の認識において高い正確性を達成できるか？
• RQ4 一般化とカバレッジの観点から、モデルの性能は手動で作成された音韻規則と比べてどの程度優れているか？

主な発見

• 簡略化されたCMU 39音素表現を用いて訓練した場合、統計モデルは手動で同定された20の音韻一般化のうち13つを回復した。
• 169文字のIPA GMUデータセット（完全なIPA）を用いて訓練した場合、モデルは手動で同定された20の一般化すべてを回復し、子音の軟化や後舌化といった複雑なパターンも含めた。
• シーケンス・ツー・シーケンスRNNは、アクセント付き発音表記を標準GAE形式に変換するタスクでテスト正確性59.3％を達成した。
• 過学習は25エポック目以降に観察された。検証正確性は頭打ちに達したが、訓練正確性は引き続き上昇を示し、過剰な合成データによるノイズの影響が示唆された。
• モデルの性能はデータの簡略化に敏感であった。CMU辞書における音声的詳細の欠落は、希少または特定のアクセント特徴を捉える能力を低下させた。