[論文レビュー] Mask the Correct Tokens: An Embarrassingly Simple Approach for Error Correction

Kai Shen, Yichong Leng+5 more|arXiv (Cornell University)|Nov 23, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文では、訓練中に正しいトークンをランダムにマスクすることで、テキスト誤り訂正の性能を向上させるシンプルで効果的な手法であるMaskCorrectを提案する。このアプローチにより、自己回帰的および非自己回帰的モデルの両方で、綴り、音声認識（ASR）、文法誤り訂正の各タスクにおいて性能が向上し、中国語ASRデータセットでは一貫したWERの低下が見られ、最大1.24%の低下を達成した。

ABSTRACT

Text error correction aims to correct the errors in text sequences such as those typed by humans or generated by speech recognition models. Previous error correction methods usually take the source (incorrect) sentence as encoder input and generate the target (correct) sentence through the decoder. Since the error rate of the incorrect sentence is usually low (e.g., 10\%), the correction model can only learn to correct on limited error tokens but trivially copy on most tokens (correct tokens), which harms the effective training of error correction. In this paper, we argue that the correct tokens should be better utilized to facilitate effective training and then propose a simple yet effective masking strategy to achieve this goal. Specifically, we randomly mask out a part of the correct tokens in the source sentence and let the model learn to not only correct the original error tokens but also predict the masked tokens based on their context information. Our method enjoys several advantages: 1) it alleviates trivial copy; 2) it leverages effective training signals from correct tokens; 3) it is a plug-and-play module and can be applied to different models and tasks. Experiments on spelling error correction and speech recognition error correction on Mandarin datasets and grammar error correction on English datasets with both autoregressive and non-autoregressive generation models show that our method improves the correction accuracy consistently.

研究の動機と目的

• 誤り訂正モデルにおける正しいトークンの単純なコピーバイアス問題に取り組み、学習の効率性を低下させることを目的とする。
• 正しいトークンを受動的なコピーターゲットではなく、意味のある学習信号として活用することを目的とする。
• 綴りやASR誤り訂正のような低誤り率タスクにおけるモデルの汎化性能と性能を向上させることを目的とする。
• 自己回帰的および非自己回帰的モデルに適用可能な汎用的で即挿し可能なフレームワークを開発することを目的とする。

提案手法

• 訓練中に、入力文の正しいトークンのランダムな割合を特別な<mask>トークンに置き換える。
• モデルはマスクされた文脈から元の正しいトークンを再構築するように学習させ、文脈依存の生成を促進する。
• この手法は、アーキテクチャの変更なしに既存の訂正モデルに即挿し可能なモジュールとして適用可能である。
• マスキング率はハイパーパrameterとして調整され、非自己回帰的モデルでは最適値が0.15であることが判明した。
• マスキングによる事前学習の後、モデルは推論用に元のマスクなしデータでファインチューニングされる。
• このアプローチは、綴り訂正、ASR訂正（中国語）、文法訂正（英語）の各タスクにおいて、自己回帰的（AR）および非自己回帰的（NAR）モデルで評価された。

実験結果

リサーチクエスチョン

• RQ1 訓練中に正しいトークンをマスクすることで、単純なコピーバイアスの依存度を低下させ、誤り訂正性能を向上させることができるか？
• RQ2 マスキング率は、自己回帰的および非自己回帰的モデルの両方において、モデルの性能と汎化性能にどのように影響を与えるか？
• RQ3 この手法は、綴り、ASR、文法訂正といった多様な誤り訂正タスクに効果的に適用可能か？
• RQ4 正しいトークンを情報豊かな信号として効果的に活用することで、学習効率が向上するか？

主な発見

• FastCorrectモデルに適用した場合、AISHELL-1データセットではWERが1.24%低下し、社内中国語ASRデータセットでは1.0%低下した。
• MaskCorrectを適用したAR Transformerモデルは、AISHELL-1でWERが1.03%低下し、社内データセットでは0.78%低下した。
• FastCorrectモデルの最適マスキング率は0.15であり、0.2を超えると性能が低下した。
• この手法は、綴りおよびASR誤り訂正タスクにおいて、自己回帰的および非自己回帰的モデルの両方で一貫して訂正精度を向上させた。
• 中国語データセットでは、最先端の綴り誤り訂正手法を大きく上回る性能を発揮した。
• アブレーションスタディの結果、正しいトークンのマスキングは意味のある監視信号を提供し、単なるコピーラーニングを超えたモデルの汎化性能向上に寄与することが確認された。