[論文レビュー] Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task

Kenneth Li, Aspen Hopkins+4 more|arXiv (Cornell University)|Oct 24, 2022

Topic Modeling被引用数 60

ひとこと要約

この論文は、オセロで合法手を予測するよう訓練されたGPT変種が、ボード状態の出現的な非線形内部表現を発展させ、それらが介入によって予測へ因果的な影響を持つことを示し、解釈性のための潜在的顕性マップを導入します。

ABSTRACT

Language models show a surprising range of capabilities, but the source of their apparent competence is unclear. Do these networks just memorize a collection of surface statistics, or do they rely on internal representations of the process that generates the sequences they see? We investigate this question by applying a variant of the GPT model to the task of predicting legal moves in a simple board game, Othello. Although the network has no a priori knowledge of the game or its rules, we uncover evidence of an emergent nonlinear internal representation of the board state. Interventional experiments indicate this representation can be used to control the output of the network and create "latent saliency maps" that can help explain predictions in human terms.

研究の動機と目的

• 合成タスクで訓練された系列モデルが表面的な統計を超える内部世界表現を発達させるかを調査する。
• 出現的なボード状態表現が非線形で、予測に因果的に影響を与えるかを検討する。
• 内部表現を操作する介入技術を開発・検証し、それらの因果的役割を評価する。
• ボードゲーム設定でモデル予測を可視化・説明する潜在的顕性マップを導入する。

提案手法

• 8層のGPT変種（Othello-GPT）を訓練し、オセロ盤タイルを表す60トークンの語彙を用い、部分的なトランスクリプトから次の合法手を予測する。
• 専門家の人間の手が含まれるチャンピオンシップデータセットと、ランダムな合法手の大規模合成データセットの2つを使用する。
• 検証データに対する合法手予測能力を評価する（トップ1合法性誤差率）。
• 線形・非線形分類器を用いて内部活性化を探索し、中間層からボード状態表現を推定する。
• 勾配降下で活性化を最適化して反事実的なボード状態を強制し、予測の変化を観察する介入技術を適用する。
• 介入を介して個々のタイルの状態変化に予測の変化を帰属させることで潜在的顕性マップを構築する。

実験結果

リサーチクエスチョン

• RQ1 ボードゲームのトランスクリプトから学習するGPT風の系列モデルは、ゲーム状態（世界）の内部非線形表現を発展させるか。
• RQ2 これらの出現的表現は、モデルの次の手の予測と因果的に関連しているか。
• RQ3 活性化介入はモデルの内部世界モデルを明らかにし、操作できるか。
• RQ4 潜在的顕性マップは、ボード状態が予測にどう影響するかを解釈しやすい可視化を提供できるか。

主な発見

• Othello-GPT は、合成データで非常に低い誤差（0.01%）、チャンピオンシップデータで（5.17%）の合法手を予測し、未訓練 baseline の（93.29%）よりはるかに高精度。
• 線形プローブはボード状態を回復するのが困難で、層を通じて高い誤差率（例: 全て>20%）、一方、非線形プローブ（2層MLP）ははるかに低い誤差を達成し、非線形内部表現を示唆する。
• 内部活性化を変更して単一のボードタイル状態を変える介入は、次の手の予測に因果的影響を及ぼすことができ、介入層Ls=4で最良の結果（自然データと非自然データの平均誤差0.12と0.06）を示す。
• 潜在的顕性マップは、合成モデルの合法性パターンと一致する領域特異的なタイル顕性を示し、チャンピオンシップ訓練モデルではより複雑なパターンを明らかにする。
• 潜在的顕性視覚化は、合成訓練とチャンピオンシップ訓練の下で学習された表現を区別し、方法の解釈可能性の有用性を示す。