[論文レビュー] What learning algorithm is in-context learning? Investigations with linear models

Ekin Akyürek, Dale Schuurmans+3 more|arXiv (Cornell University)|Nov 28, 2022

Neural Networks and Applications被引用数 85

ひとこと要約

本論文は、トランスフォーマーが標準的な線形学習アルゴリズム（勾配降下法と閉形式のリッジ回帰）を文脈内で実装できることを証明し、訓練済みの文脈内学習者がさまざまな条件下でこれらのアルゴリズムのように振る舞うことを示し、ICLをベイズ推定器および最小ノルム予測器と結びつけている。

ABSTRACT

Neural sequence models, especially transformers, exhibit a remarkable capacity for in-context learning. They can construct new predictors from sequences of labeled examples $(x, f(x))$ presented in the input without further parameter updates. We investigate the hypothesis that transformer-based in-context learners implement standard learning algorithms implicitly, by encoding smaller models in their activations, and updating these implicit models as new examples appear in the context. Using linear regression as a prototypical problem, we offer three sources of evidence for this hypothesis. First, we prove by construction that transformers can implement learning algorithms for linear models based on gradient descent and closed-form ridge regression. Second, we show that trained in-context learners closely match the predictors computed by gradient descent, ridge regression, and exact least-squares regression, transitioning between different predictors as transformer depth and dataset noise vary, and converging to Bayesian estimators for large widths and depths. Third, we present preliminary evidence that in-context learners share algorithmic features with these predictors: learners' late layers non-linearly encode weight vectors and moment matrices. These results suggest that in-context learning is understandable in algorithmic terms, and that (at least in the linear case) learners may rediscover standard estimation algorithms. Code and reference implementations are released at https://github.com/ekinakyurek/google-research/blob/master/incontext.

研究の動機と目的

• トランスフォーマーの文脈内学習（ICL）が暗黙の学習アルゴリズムと対応するかを理解する。
• トランスフォーマーが文脈内で実装できる標準的な線形アルゴリズムを特定する。
• 深さ、幅、および学習データのノイズがICLの挙動と古典的予測器との整合性にどう影響するかを評価する。
• 中間量（例：重みベクトルやモーメント行列）のような量が文脈表現にエンコードされているかを探索する。

提案手法

• O(d) 隠れユニットと一定の深さを持つ線形モデルに対して、トランスフォーマーが勾配降下法の1ステップを実装できることを構築的に証明する。
• O(d^2) 隠れユニットと一定の深さを持つリッジ回帰に対応する Sherman–Morrison 更新をトランスフォーマーが実装できることを構築的に証明する。
• 深さ・隠れサイズ・ノイズを変えて、ICL予測を勾配降下法、リッジ回帰、普通最小二乗法と経験的に比較する。
• 行動指標として二乗予測差（SPD）と暗黙の重み差（ILWD）を用い、ICLと標準予測器との一致を定量化する。
• 隠れ状態にX^T Yやw_OLSのような量がエンコードされているかを判断するために中間表現を探索する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは文脈内学習の枠組みの中で標準的な線形学習アルゴリズム（例：勾配降下法、リッジ回帰）を実装できるか。
• RQ2 訓練済みの文脈内学習者の予測は、異なる深さ・幅・データノイズの下で古典的予測器（OLS、リッジ、GD）およびベイズ推定量と一致するか。
• RQ3 文脈内学習者はどんな中間量をエンコードし、ネットワークのどこでそれらの量が出現するか。
• RQ4 モデル容量（深さ・隠れサイズ）は、文脈内学習者のアルゴリズム的挙動（GD・リッジ・OLS間の位相遷移）にどう影響するか。

主な発見

• トランスフォーマーは、O(d) 隠れユニットと一定の深さを持つ線形回帰に対して勾配降下法の1ステップを計算できる。
• トランスフォーマーは、O(d^2) 隠れユニットと一定の深さを持つリッジ回帰を実現するための Sherman–Morrison 更新を1回行える。
• ICL予測は勾配降下法、リッジ回帰、正確な最小二乗予測と密接に一致し、深さとノイズが変化するとこれらの間で遷移する。
• より大きな幅と深さを持つと、ICLは線形モデルのベイズ推定量に収束する。
• X^T Y や w_OLS のような中間量を隠れ表現からデコードできることから、ネットワークが意味のあるアルゴリズム的量を計算していることを示している。