[論文レビュー] The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design

Yoav Levine, Noam Wies+4 more|arXiv (Cornell University)|Oct 9, 2021

Topic Modeling被引用数 7

ひとこと要約

本稿は、事例内学習における帰納的バイアスを特定し、ニューラル言語モデル（NLMs）が同じ微調整例に含まれる文の間に、異なる例の文よりも強い依存関係を学習することを示している。このバイアスを分離ランク解析を用いて形式化することで、著者らはkNN-Pretrainingを提案する——意味的に関連する非隣接文を1つの学習例に統合する手法であり、文表現の向上と、オープンドメイン質問応答およびGLUEベンチマークにおけるゼロショット性能の向上を実現した。

ABSTRACT

Pretraining Neural Language Models (NLMs) over a large corpus involves chunking the text into training examples, which are contiguous text segments of sizes processable by the neural architecture. We highlight a bias introduced by this common practice: we prove that the pretrained NLM can model much stronger dependencies between text segments that appeared in the same training example, than it can between text segments that appeared in different training examples. This intuitive result has a twofold role. First, it formalizes the motivation behind a broad line of recent successful NLM training heuristics, proposed for the pretraining and fine-tuning stages, which do not necessarily appear related at first glance. Second, our result clearly indicates further improvements to be made in NLM pretraining for the benefit of Natural Language Understanding tasks. As an example, we propose "kNN-Pretraining": we show that including semantically related non-neighboring sentences in the same pretraining example yields improved sentence representations and open domain question answering abilities. This theoretically motivated degree of freedom for pretraining example design indicates new training schemes for self-improving representations.

研究の動機と目的

• 微調整データの断片化が連続する学習例に分割されることによって生じる帰納的バイアスを形式化すること。
• 同じ入力に同時に出現しなかった文の間の依存関係をモデル化する際の表現力の欠損を定量化すること。
• このバイアスがさまざまな成功したNLP学習のヒューリスティクスの背後にある要因であり、例間の情報統合を制限することを示すこと。
• 意味的に関連する非隣接文を同じ学習例に含める手法としてkNN-Pretrainingを提案・評価すること。
• kNN-Pretrainingがオープンドメイン質問応答および一般化タスクにおけるゼロショット性能をどのように向上させるかを実証的に示すこと。

提案手法

• 『事例内バイアス』の概念を導入——学習例に同時に表示された文の間の依存関係を優遇する形式化された表現力バイアス。
• 有限精度下での有効な依存関係モデル化能力の尺度として、ε-分離ランクを定義——逐次的・複数例設定に適応。
• 同じ入力内にある2つの文の対数分離ランクの上界を Õ(dxL) として評価し、これがタイトであることを証明。ここで dx はモデル幅、L は深さ。
• 一度も同じ入力に共起しなかった2つの文の対数分離ランクの上界を Õ(dx[L − 0.5 log₃(η⁻¹)]) として評価し、小さな学習率による深さの欠損を明らかに。
• kNN-Pretrainingを提案——事前学習データを再形式化し、意味的に関連する非隣接文を同じ入力例に含める。
• Wikipediaデータを用いて、kNN-Pretrainingを適用したRoBERTaおよびGPT-2モデルを、混合データストリームと標準的な言語モデル目的関数を用いて学習し、Natural QuestionsおよびGLUEベンチマークで評価。

実験結果

リサーチクエスチョン

• RQ1 事前学習コーパスが連続する学習例に分割されることで、モデルの例間依存関係の学習能力にどのような影響を与えるか？
• RQ2 同じ入力に同時に出現しなかった文の間の依存関係をモデル化する際の理論的表現力コストは何か？
• RQ3 意味的に関連する非隣接文を同じ学習例に統合することで、下流のNLU性能が向上するか？
• RQ4 kNN-Pretrainingは、オープンドメイン質問応答および一般化タスクにおけるゼロショット能力をどの程度向上させるか？
• RQ5 学習率およびモデルサイズに応じて、依存関係モデル化における深さの欠損はどのようにスケーリングするか？

主な発見

• 小さな学習率（η ∈ [10⁻⁶, 10⁻⁴]）による影響で、異なる学習例に属する文の間の依存関係をモデル化する能力に、理論的に約6層の深さの欠損が生じる。
• Natural Questionsベンチマークにおいて、kNN-Pretrainingはゼロショット性能を顕著に向上させ、345Mパラメータのモデルが400K回の通常ステップに加え10K回のkNN-Pretrainingステップを経て、F1スコア1.4×10⁻²を達成した。
• GLUEタスクでは、kNN-Pretrainingにより、MNLIでベースライン平均35.1から35.5へ、RTEで52.0から53.0へ、WNLIで51.1から56.3へと向上した。
• kNN-Pretrainingの効果は、全事前学習時間の10%程度に限定して適用した場合に最も顕著で、高いサンプル効率を示した。
• 深さの欠損の推定値は、理論的境界よりも深刻である可能性があり、Lの一部としてスケーリングする可能性があり、実用的影響が強い可能性がある。
• 実証的結果から、kNN-Pretrainingはゼロショット設定ですらモデルの能力を向上させ、構造化された事例内露出による内部表現学習の改善が示唆された。