[論文レビュー] Misspelling Correction with Pre-trained Contextual Language Model

Yifei Hu, Xiaonan Jing+2 more|arXiv (Cornell University)|Jan 8, 2021

Topic Modeling参考文献 27被引用数 4

ひとこと要約

本稿では、BERTのマスクされた言語モデル化機能と編集距離を組み合わせた文脈的綴り間違い訂正手法を提案する。事前学習済みBERTを微調整なしに使用することで、文脈的な埋め込みと編集距離を活用し、非語彙的および実語彙的綴り間違いを効果的に訂正でき、非公式な出どころからのノイズの多い、複数の誤りを含む文に対しても頑健な性能を示す。

ABSTRACT

Spelling irregularities, known now as spelling mistakes, have been found for several centuries. As humans, we are able to understand most of the misspelled words based on their location in the sentence, perceived pronunciation, and context. Unlike humans, computer systems do not possess the convenient auto complete functionality of which human brains are capable. While many programs provide spelling correction functionality, many systems do not take context into account. Moreover, Artificial Intelligence systems function in the way they are trained on. With many current Natural Language Processing (NLP) systems trained on grammatically correct text data, many are vulnerable against adversarial examples, yet correctly spelled text processing is crucial for learning. In this paper, we investigate how spelling errors can be corrected in context, with a pre-trained language model BERT. We present two experiments, based on BERT and the edit distance algorithm, for ranking and selecting candidate corrections. The results of our experiments demonstrated that when combined properly, contextual word embeddings of BERT and edit distance are capable of effectively correcting spelling errors.

研究の動機と目的

• 事前学習済みBERTが微調整なしに文脈の中で綴り間違いを効果的に訂正できるかどうかを調査すること。
• BERTの文脈的埋め込みと編集距離を組み合わせることで、訂正候補の順序付けがどの程度効果的になるかを評価すること。
• 複数の誤りや非公式な言語を含む文において、BERTの誤り訂正に対する頑健性を評価すること。
• BERTを、綴り間違い以上のさまざまな種類の言語的誤りを訂正する汎用モデルとしての可能性を検討すること。
• 一連のパイプラインで綴り間違いを検出し、同時に訂正するというBERTの拡張の可能性を検討すること。

提案手法

• 誤った語のための候補訂正を、BERTのマスクされたトークン予測を用いて生成する。
• 誤った語からの編集距離（例：Levenshtein距離）が小さい（≤2）範囲内で候補訂正を生成する。
• 各候補がマスクされたトークン位置でBERTが予測する確率に基づき、候補を順位付けする。
• 最も確率の高い候補を選んで最終的な訂正とする。
• 複数の誤りを含み、非公式および標点のノイズがある現実世界の非ネイティブ英語テキストでこの手法をテストする。
• 標準的な指標を用いて性能を評価し、非語彙的および実語彙的誤りを統一的なフレームワークで扱う。

実験結果

リサーチクエスチョン

• RQ1 BERTのマスクされた言語モデル化機能は、微調整なしに文脈の中で綴り間違いを効果的に訂正できるか？
• RQ2 BERTの文脈的埋め込みと編集距離を組み合わせることで、単独で使用する場合と比較して、訂正精度がどの程度向上するか？
• RQ3 複数の誤りや非公式な言語を含む文において、BERTの誤り訂正に対する頑健性はどの程度高いか？
• RQ4 同じフレームワークで非語彙的および実語彙的綴り間違いを効果的に訂正できるか？
• RQ5 一連の統合パイプラインで、綴り間違いの検出と訂正をBERTで行うことは可能か？

主な発見

• BERTは、微調整なしに事前学習済み重みのみを用いて、綴り間違いの訂正において強力な性能を示した。
• BERTの文脈的予測と編集距離の組み合わせは、ベースライン手法と比較して、著しく訂正精度を向上させた。
• BERTは、複数の誤りや非公式な言語を含む文に対しても、誤り訂正を成功させ、高い頑健性を示した。
• 本手法は、非語彙的誤り（例：'acsese' → 'access'）および実語彙的誤り（例：'exibitions' → 'exhibitions'）の両方を効果的に訂正できた。
• 句読点や文法が一貫していないSNS風のノイズの多いテキストにおいても、BERTは正しい訂正を正しく予測できた。
• 構文的誤りなど他の誤りタイプへの一般化の可能性が示された。これは、誤りをマスク予測タスクとして定式化することで可能になった。