[論文レビュー] Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little

Koustuv Sinha, Robin Jia+4 more|arXiv (Cornell University)|Apr 14, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿は、マスクされた言語モデル（MLM）が、文法的構造ではなく、語の共起統計の学習に主に成功しているかどうかを調査する。語彙と頻度を保持したまま文をランダムにシャッフルしてRoBERTaを事前学習させることで、著者らは、GLUEおよびPAWSベンチマークで高い下流性能を達成していることを示している——特に語の順序に敏感なタスクに対しても同様である。これは、MLMの成功の多くが、分布的バイアスに起因していることを示している。

ABSTRACT

A possible explanation for the impressive performance of masked language model (MLM) pre-training is that such models have learned to represent the syntactic structures prevalent in classical NLP pipelines. In this paper, we propose a different explanation: MLMs succeed on downstream tasks almost entirely due to their ability to model higher-order word co-occurrence statistics. To demonstrate this, we pre-train MLMs on sentences with randomly shuffled word order, and show that these models still achieve high accuracy after fine-tuning on many downstream tasks -- including on tasks specifically designed to be challenging for models that ignore word order. Our models perform surprisingly well according to some parametric syntactic probes, indicating possible deficiencies in how we test representations for syntactic information. Overall, our results show that purely distributional information largely explains the success of pre-training, and underscore the importance of curating challenging evaluation datasets that require deeper linguistic knowledge.

研究の動機と目的

• マスクされた言語モデル（MLM）が、下流性能の観点から、文法的構造よりも分布的語共起に依存しているかどうかを検証すること。
• 事前学習中に語の順序を除去した場合のモデルの一般化能力および言語的能力への影響を評価すること。
• 現在の評価ベンチマークが、構文的理解を本当にテストしているのか、それとも分布的パターンにバイアスされているのかを評価すること。
• 非パラメトリックな構文プローブ（劣化を示す）とパラメトリックなプローブ（強力な性能を示す）の間の乖離を調査すること——特に順序を入れ替えたモデルに対して。

提案手法

• 語彙とユニグラム頻度を保持したまま、大規模コーパスを用いて語の順序をランダムにシャッフルしてRoBERTaモデルを事前学習する。
• 位置埋め込みを用いないことで、完全に順序に依存しない学習を実現する。
• 元のコーパスのユニグラム分布からサンプリングしたデータでモデルを学習させ、分布的統計を隔離する。
• 標準的な下流NLPタスク（例：GLUE、PAWS）で、標準的な微調整ハイパーパrameterを用いて、すべてのシャッフル済みモデルを微調整する。
• 標準ベンチマーク（RTE、MRPC、SST-2、CoLA、QQP、QNLI、MNLI、PAWS）を用いて性能を評価する。
• 非パラメトリックおよびパラメトリックな構文プロービング手法を適用し、構文表現の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 語の順序を一切持たないシャッフルされた文で事前学習した場合でも、下流NLPタスクで高い性能を達成できるか、その程度はいかほどか？
• RQ2 シャッフル済みMLMは、標準モデルと比較して構文プロービングタスクでどの程度の性能を示すか？
• RQ3 語の順序に気づきのないモデルに対し、なぜパラメトリックな構文プローブが強い性能を示すのか？
• RQ4 現在の評価ベンチマークは、構文的・構成的理解を本当に必要としているのか、それとも分布的パターンにバイアスされているのか？
• RQ5 分布的統計だけが、現代の事前学習済み言語モデルの成功を説明できるのか？

主な発見

• 語の順序を一切持たないランダムにシャッフルされた文で事前学習したMLMは、平均GLUEスコア85.6%を達成し、標準RoBERTaモデルの87.3%に近く、語の順序なしでも高い性能を示している。
• CoLA や MNLI といった構文構造に敏感なタスクに対しても、シャッフル済みモデルはそれぞれ82.1%および85.4%の正答率を示しており、標準モデルと比べて2–4%程度の低下にとどまっている。
• 非パラメトリックな構文プローブにより、シャッフル済みモデルは構文依存タスクで顕著に劣ることが確認され、明示的な構文知識を失っていることが示された。
• パラメトリックな構文プローブでは、シャッフル済みモデルが標準モデルの88.7%の性能を達成しており、構文理解の評価方法に潜在的な欠陥がある可能性を示唆している。
• 文の構造を持たないユニグラムからサンプリングしたデータで学習したモデルでさえ、平均GLUEスコア78.9%を達成しており、分布的統計のみで十分に強い下流性能が得られることを示している。
• 結果から、現在の評価ベンチマークは分布的パターンにバイアスされており、真の構文一般化を要件としていない可能性があり、より挑戦的なデータセットの開発が求められることが示唆された。