[論文レビュー] Contextual Text Denoising with Masked Language Models

Yifu Sun, Haoming Jiang|arXiv (Cornell University)|Oct 30, 2019

Topic Modeling参考文献 13被引用数 6

ひとこと要約

本論文では、再訓練やペaired学習データを必要とせず、ノイズのある入力に対して誤字・スペルミスを修正する、事前学習済みマスキング言語モデル（例：BERT）を用いた文脈的テキストノイズ除去手法を提案する。語をマスクし、文脈に基づく予測を活用することで、機械翻訳、自然言語推論（NLI）、パラフレーズ検出などのタスクにおいて、ノイズのある入力に対する下流NLP性能が向上し、スプール・チェッカーなどのベースラインと比較して顕著なBLEUスコアおよびF1スコアの向上を達成した。

ABSTRACT

Recently, with the help of deep learning models, significant advances have been made in different Natural Language Processing (NLP) tasks. Unfortunately, state-of-the-art models are vulnerable to noisy texts. We propose a new contextual text denoising algorithm based on the ready-to-use masked language model. The proposed algorithm does not require retraining of the model and can be integrated into any NLP system without additional training on paired cleaning training data. We evaluate our method under synthetic noise and natural noise and show that the proposed algorithm can use context information to correct noise text and improve the performance of noisy inputs in several downstream tasks.

研究の動機と目的

• 誤字やタイポなどのノイズのある入力に対して脆弱である最先端NLPモデルの課題を解決すること。
• 再訓練やペアドクリーニングデータを必要とせず、事前学習済みマスキング言語モデルの文脈的情報を活用するノイズ除去手法を開発すること。
• 機械翻訳、自然言語推論、パラフレーズ検出などの下流タスクにおいて、合成的および自然なノイズに対してNLPシステムの耐性を高めること。
• 正しく入力されたテキストに対しても補正が行われることによる性能低下がないかを評価すること、すなわち過剰補正に対する耐性を確認すること。

提案手法

• 各単語を逐次処理し、周囲の語の文脈を保持したまま、[MASK]トークンに置き換える。
• 各マスクされた語に対して、事前学習済みマスキング言語モデル（例：BERT）を用いて、左・右の文脈に基づきマスクされた語を予測する候補リストを生成する。
• 1語あたりのマスク語数を変化させ（経験的にN=4に設定）、複数のマスク文バリエーションを生成することで、正しい語を捉える可能性を高める。
• テキスト拡張を実施し、元のノイズのある文と各マスク変種を連結することで、候補の質と文脈認識能力を向上させる。
• 元のノイズのある語との編集距離に基づくルールを用いて、候補リストから最終的な補正語を選択する。これにより、入力のスペルに近い候補を優先する。
• 左から右への順序で処理を実行し、標点と数字は飛ばす。モデルの微調整を必要とせず、任意のNLPシステムと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みマスキング言語モデルを用いて、再訓練やラベル付きデータなしに文脈的情報のみでノイズのあるテキストを効果的に回復できるか？
• RQ2 提案手法のノイズのある入力に対する下流NLPタスク性能向上は、ルールベースのスペルチェッカーと比較してどのように異なるか？
• RQ3 クリーンな入力にこのノイズ除去アルゴリズムを適用した場合、性能が低下しないか、過剰補正に対する耐性があるか？
• RQ4 本手法は、多様なNLPタスクにおける合成的および自然なノイズに対して、どの程度性能向上を達成できるか？

主な発見

• IWSLT 2014 英語→ドイツ語翻訳タスクにおいて、提案手法を fairseq Transformer モデルに適用したところ、人工的ノイズではBLEUスコアが22.27から25.80に、自然ノイズでは17.29から21.40に向上した。
• Google Translate においても、人工的ノイズではBLEUスコアが28.11から28.96に、自然ノイズでは25.22から25.49に向上した。
• SNLI NLIタスクでは、人工的ノイズでは正答率が75.0から81.0に、自然ノイズでは74.0から77.0に向上した。一方、クリーンな入力では元の性能（83.0）に近い水準を維持した。
• MRPCパラフレーズ検出タスクでは、F1スコアが人工的ノイズ時で81.9から82.7に、自然ノイズ時で75.2から76.4に向上し、元のモデルおよびスペルチェッカーのベースラインを上回った。
• クリーンな入力に対しても最小限の性能低下が認められ、SNLIの正答率が元の84.0から83.0に1.0ポイント低下したにとどまり、過剰補正に対する耐性があることが示された。
• テキスト拡張と編集距離に基づく候補リストのフィルタリングを組み合わせることで、スペルチェッカーのベースラインと比較して補正精度が顕著に向上した。特に、ノイズのある入力ではスペルチェッカーが性能を低下させる傾向があるが、本手法はそれを回避した。