[論文レビュー] A Full Text-Dependent End to End Mispronunciation Detection and Diagnosis with Easy Data Augmentation Techniques

Kaiqi Fu, Jones Lin+4 more|arXiv (Cornell University)|Apr 17, 2021

Natural Language Processing Techniques参考文献 16被引用数 26

ひとこと要約

この論文は、prior phoneme sequences with attentionを用いたテキスト依存型のエンドツーエンドMD&Dモデルと、クラス不均衡に対処する3つの簡易データ拡張手法を提案し、TIMITとL2-ARCTICでCNN-RNN-CTCベースラインを上回るF-measureとPERを達成します。

ABSTRACT

Recently, end-to-end mispronunciation detection and diagnosis (MD&D) systems has become a popular alternative to greatly simplify the model-building process of conventional hybrid DNN-HMM systems by representing complicated modules with a single deep network architecture. In this paper, in order to utilize the prior text in the end-to-end structure, we present a novel text-dependent model which is difference with sed-mdd, the model achieves a fully end-to-end system by aligning the audio with the phoneme sequences of the prior text inside the model through the attention mechanism. Moreover, the prior text as input will be a problem of imbalance between positive and negative samples in the phoneme sequence. To alleviate this problem, we propose three simple data augmentation methods, which effectively improve the ability of model to capture mispronounced phonemes. We conduct experiments on L2-ARCTIC, and our best performance improved from 49.29% to 56.08% in F-measure metric compared to the CNN-RNN-CTC model.

研究の動機と目的

• エンドツーエンドの誤発音検出と診断（MD&D）を、事前テキスト情報を活用したエンドツーエンドの枠組みで動機づけ、実現する。
• 強制アラインメントを必要とせず、注意機構を介して音声と事前の音素列を整列させるテキスト依存型モデルを提案する。
• 音素列中の陽性/陰性サンプルの不均衡に対処する、簡易なデータ拡張技術を用いる。
• 公開MD&DベンチマークにおいてCNN-RNN-CTCベースラインを上回る性能向上を示す。

提案手法

• 3モジュール構成: 事前の音素列用の文エンコーダ、音響特徴のための音声エンコーダ（CNN-RNN）、音声とテキストを整列させる注意機構を備えたデコーダ。
• 文エンコーダはBi-LSTMを用いて、事前テキストの音素埋め込みからキー/バリューを生成する。
• 音声エンコーダは243次元の特徴をCNN-RNN（2つのCNN、4つのBi-LSTM層）で処理し、クエリを生成する。
• 注意機構は音声クエリとテキストのキー/バリューを整列させて文脈ベクトルを計算する。最終的なフレームごとの確率は、文脈と音響特徴の連結を用いてソフトマックスにより音素予測を出力する。
• CTC時間アライメントは不要; 学習は明示的な時間ラベルなしの注意ベースのクロスエントロピーを用いる。
• 陽性（誤発音）と陰性サンプルのバランスを取る三つのデータ拡張技術: Phoneme Set based (PS), Vowels/Consonants set based (VC), and Confusing pairs based (CP).

実験結果

リサーチクエスチョン

• RQ1 テキスト注意を用いたエンドツーエンドのMD&Dモデルは、音素レベルで誤発音を検出するために事前のテキスト情報を効果的に活用できるか？
• RQ2 音素レベルの不均衡の下で、単純なデータ拡張戦略はモデルの誤発音検出能力を改善するか？
• RQ3 MD&Dタスクにおける音素アテンションと文字アテンション、およびベースラインのCNN-RNN-CTCとの比較的利得はどの程度か？
• RQ4 提案モデルは、標準MD&Dベンチマーク（TIMITおよびL2-ARCTIC）において、TA、診断精度、F-measureの観点でどのように性能を示すか？

主な発見

• ベースラインをテキスト依存型の注意に置換すると、F-measureが49.29%から52.51%へ改善する。
• 音素アテンションとデータ拡張を組み合わせた場合、最良のF-measureを達成する（VC=10%で56.08%）。
• 最良の構成は平均F-measureの改善をもたらし、TAの高い割合を維持する（例: 最良の設定でTAは約93.06%）。
• データ拡張は陽性サンプルを増やし、PERの著しい低減をもたらす（ augmentation レベルに応じて最良PERは約15.58%–16.13%）。
• すべてのデータ拡張音素アテンションバリアントは高いTAとF-measureを維持し、 prior text を使用した場合、置換と削除の誤診断の減少が顕著である。
• CNN-RNN-CTCベースラインと比較して、拡張付き音素アテンションモデルは評価指標でMD&Dのパフォーマンスを有意に改善する。