[論文レビュー] Spelling Error Correction with Soft-Masked BERT

Shaohua Zhang, Haoran Huang+2 more|arXiv (Cornell University)|May 15, 2020

Natural Language Processing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、Bi-GRUに基づく誤り検出ネットワークとBERTに基づく補正ネットワークをソフトマスクを介して統合することで、中国語の綴り誤り訂正を向上させる二重ストリームニューラルアーキテクチャ「Soft-Masked BERT」を提案する。この手法は、確率的マスキングを通じて文脈に配慮した誤り訂正を可能にすることで、標準的なBERT微調整に比べて著しく高い訂正精度を達成し、2つのベンチマークデータセットで最先端の性能を発揮する。

ABSTRACT

Spelling error correction is an important yet challenging task because a satisfactory solution of it essentially needs human-level language understanding ability. Without loss of generality we consider Chinese spelling error correction (CSC) in this paper. A state-of-the-art method for the task selects a character from a list of candidates for correction (including non-correction) at each position of the sentence on the basis of BERT, the language representation model. The accuracy of the method can be sub-optimal, however, because BERT does not have sufficient capability to detect whether there is an error at each position, apparently due to the way of pre-training it using mask language modeling. In this work, we propose a novel neural architecture to address the aforementioned issue, which consists of a network for error detection and a network for error correction based on BERT, with the former being connected to the latter with what we call soft-masking technique. Our method of using `Soft-Masked BERT' is general, and it may be employed in other language detection-correction problems. Experimental results on two datasets demonstrate that the performance of our proposed method is significantly better than the baselines including the one solely based on BERT.

研究の動機と目的

• BERT がその事前学習目的により、約15%のトークンしかマスクしないことと、明示的な誤り検出能力を欠いていることによる制限を解消するため。
• BERT の文脈表現と専用の誤り検出メカニズムを統合することで、中国語の綴り誤り訂正（CSC）における訂正精度を向上させるため。
• ハードマスキングの微分可能で確率的な拡張としてのソフトマスキングを導入することで、検出・補正タスクに一般化可能なフレームワークを構築するため。
• 標準的および新たに作成された大規模な評価データセットを用いて、提案アーキテクチャの有効性を実証的に検証するため。

提案手法

• モデルは2つのコンponentsで構成される：各文字位置における誤り確率を予測するBi-GRUベースの検出ネットワーク。
• これらの誤り確率を用いて、BERTの埋め込みにソフトマスキングを適用し、文字の埋め込みがその予測誤り確率に比例して弱体化される。
• ソフトマスキングは微分可能であり、誤り確率が1の場合にマスクされたトークンを0に設定するハードマスキングを一般化する。
• ソフトマスクされた埋め込みは、その後、各位置で候補リストから正しい文字を予測するBERTベースの補正ネットワークに供給される。
• 全アーキテクチャはエンドツーエンドで訓練され、検出ネットワークと補正ネットワークが共同で誤り訂正の向上を最適化できる。
• この手法は事前学習済みBERTを文脈表現として活用し、誤り表を用いたデータ拡張により、ラベル付きデータ上で微調整する。

実験結果

リサーチクエスチョン

• RQ1 専用の誤り検出ネットワークが、より正確な誤り局所化を提供することで、BERTベースの綴り誤り訂正の性能を向上させることができるか？
• RQ2 ハードマスキングの微分可能で確率的な拡張であるソフトマスキングは、標準的なBERT微調整に比べて、より優れた文脈モデリングと訂正精度をもたらすか？
• RQ3 世界知識や推論を要する複雑な誤りに対して、本モデルは標準的なBERTに比べてどのように性能を発揮するか？
• RQ4 提案された Soft-Masked BERT アーキテクチャは、綴り誤り訂正を越えて、他の検出・補正タスクにも一般化可能か？

主な発見

• Soft-Masked BERT は、SIGHANベンチマークおよび新たに作成されたニュース見出しデータセットの両方で、標準的なBERT微調整に比べて著しく高い精度を達成した。
• 本手法は、単にBERTに基づく最先端手法を上回り、明示的な誤り検出と文脈補正の統合の有効性を示した。
• 特に、世界知識や推論を要する誤り、例えば「金子塔」（ゴールデンタワー）と「金字塔」（ピラミッド）の区別において、BERT単体では失敗するが、本手法はそのような誤りに対して特に効果的であった。
• 誤り分析の結果、67%の誤りが強い推論を要し、11%は世界知識の欠如に起因し、22%は混合的または不明瞭なタイプであった。これは人間レベルの理解の難しさを示している。
• 検出ネットワークは、補正対象でない候補を的確に特定し、BERTが関連する文脈に注目するのを支援し、補正の信頼性を向上させた。
• アブレーションスタディの結果、ソフトマスキングはハードマスキングよりも効果的であり、検出と補正コンponentsの共同訓練が性能向上に不可欠であることが確認された。