[論文レビュー] Spell Correction for Azerbaijani Language using Deep Neural Networks

Ahmad Ahmadzade, Saber Malekzadeh|arXiv (Cornell University)|Feb 5, 2021

Natural Language Processing Techniques参考文献 13被引用数 8

ひとこと要約

この論文は、語彙的に複雑なアゼルバイジャン語における綴りの誤り訂正のための、アテンション機構を備えたシーケンス・ツー・シーケンス深層学習モデルを提案する。12,000組の文のペアで学習させたモデルは、実世界の綴り間違いに対して距離0では75%のF1スコア、距離1では90%、距離2では96%を達成し、従来の辞書ベース手法に比べて、語彙的に豊富な言語においても有効であることが示された。

ABSTRACT

Spell correction is used to detect and correct orthographic mistakes in texts. Most of the time, traditional dictionary lookup with string similarity methods is suitable for the languages that have a less complex structure such as the English language. However, the Azerbaijani language has a more complex structure and due to its morphological structure, the derivation of words is plenty that several words are derived from adding suffices, affixes to the words. Therefore, in this paper sequence to sequence model with an attention mechanism is used to develop spelling correction for Azerbaijani. Total 12000 wrong and correct sentence pairs used for training, and the model is tested on 1000 real-world misspelled words and F1-score results are 75% for distance 0, 90% for distance 1, and 96% for distance 2.

研究の動機と目的

• アゼルバイジャン語、すなわち複雑な語彙的変化を示す言語における綴りの誤り訂正の課題に取り組むこと。
• 屈曲的および語幹変化の複雑さに起因する従来の辞書ベース手法の限界を克服すること。
• アゼルバイジャン語における複雑な綴りの誤り訂正パターンを学習可能なニューラル・シーケンス・ツー・シーケンス・モデルを開発すること。
• 実世界の綴り間違いを対象にモデルを評価し、編集距離ごとにF1スコアを測定すること。
• アゼルバイジャン語のような低リソースで語彙的に複雑な言語に対し、エンド・ツー・エンドのニューラルモデルの実現可能性を示すこと。

提案手法

• 誤った文を正しい形に変換するため、アテンション機構を備えたシーケンス・ツー・シーケンスニューラルネットワークを採用する。
• モデルは、アゼルバイジャン語で誤って綴られた文と正しい文のペア12,000組で学習される。
• エンコーダー・デコーダー構造を採用し、文脈の符号化に双方向LSTM層を、自己回帰的デコードに用いる。
• アテンション機構により、デコーダーが訂正生成中に入力シーケンスの関連部分に注目できる。
• トレーニングセットにおける予測誤差を最小化するために、交差エントロピー損失を用いてファインチューニングが行われる。
• 評価は、1,000語の実世界の綴り間違いを含むホールドアウトテストセットで実施され、編集距離0、1、2におけるF1スコアが計算される。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたシーケンス・ツー・シーケンス深層学習モデルは、語彙的に複雑なアゼルバイジャン語における綴りの誤り訂正を効果的に実行できるか？
• RQ2 従来の辞書ベース手法と比較して、モデルは実世界の綴り間違いに対してどの程度の性能を示すか？
• RQ3 編集距離が、綴りの誤り訂正モデルのF1スコアに及ぼす影響は何か？
• RQ4 アテンション機構は、語彙的に豊富な言語の入力において、訂正精度をどの程度向上させるか？
• RQ5 提案されたニューラルアプローチは、アゼルバイジャン語のような低リソースで接尾語が付加される言語に対し、スケーラブルで効果的か？

主な発見

• 編集距離が0の綴りの誤り訂正において、F1スコアは75%に達し、正確な一致において高い正確性を示している。
• 編集距離が1の場合は、F1スコアが90%に上昇し、1文字または1音声素の誤りに対しても優れた性能を示している。
• 編集距離が2以内の誤りに対しては、F1スコアが96%に達し、わずかな変形や中程度の綴りのばらつきに対しても頑健であることが示された。
• 結果から、アテンション機構を備えたシーケンス・ツー・シーケンスモデルが、アゼルバイジャン語のような語彙的に複雑な言語において、従来の辞書検索を上回ることがわかる。
• モデルは語幹変化および屈曲的変化を効果的に処理できており、接尾語が付加される言語処理に適していることが示唆される。
• より高い編集距離でのスコア上昇は、モデルが綴りのバリエーションを一般化して処理できる能力を示している。