[論文レビュー] Transcendence: Generative Models Can Outperform The Experts That Train Them

Edwin Zhang, Vincent Zhu+6 more|arXiv (Cornell University)|Jun 17, 2024

Philosophy and History of ScienceArts and Humanities被引用数 3

ひとこと要約

本稿では、人間が生成したチェス対局データを学習した自己回帰的トランスフォーマー・モデルが、学習データに含まれるすべての個々のチェスプロフェッショナルを上回る性能を示すという現象である「超越性（transcendence）」を紹介する。低温度サンプリングを用いることで、多様なエキスパート行動の集団的投票を暗黙的に行い、誤りを低減することで優れた性能を達成する。この現象は、1500までのレーティングを持つチェスデータセットを用いた実証的評価によって裏付けられている。

ABSTRACT

Generative models are trained with the simple objective of imitating the conditional probability distribution induced by the data they are trained on. Therefore, when trained on data generated by humans, we may not expect the artificial model to outperform the humans on their original objectives. In this work, we study the phenomenon of transcendence: when a generative model achieves capabilities that surpass the abilities of the experts generating its data. We demonstrate transcendence by training an autoregressive transformer to play chess from game transcripts, and show that the trained model can sometimes achieve better performance than all players in the dataset. We theoretically prove that transcendence can be enabled by low-temperature sampling, and rigorously assess this claim experimentally. Finally, we discuss other sources of transcendence, laying the groundwork for future investigation of this phenomenon in a broader setting.

研究の動機と目的

• 生成モデルにおける「超越性」という現象を形式化すること。ここでの超越性とは、学習データに含まれる最高の個々のエキスパートを上回る性能を示すことを意味する。
• 低温度サンプリングが、多様なエキスパート行動の暗黙的多数決を可能にし、誤りを低減して性能を向上させるメカニズムを解明すること。
• 温度制御によるアンサンブル的平均化のノイズ低減効果が、超越性を引き起こすという仮説を理論的および実証的に検証すること。
• 効果的な超越性を達成するためのデータセットの多様性の必要性を検討し、均質的または低多様性のデータでは性能向上が得られないことを示すこと。
• チェスにとどまらず、自然言語処理やビジョンなどの広範な分野において超越性を研究するための理論的・実証的基盤を構築すること。

提案手法

• 公開のチェス対局トランスクリプトを用いて、指定されたレーティングしきい値（例：1000、1300、1500）以下のプレイヤーに限定したデータで自己回帰的トランスフォーマー（ChessFormer）を学習する。
• 推論時に低温度サンプリングを用い、高確率の手を強調することで、エキスパートの軌道に対する多数決を効果的に模倣する。
• 理論的分析により、低温度サンプリング下で、ランダムな誤りを犯す1人のエキスパートのデータで学習したモデルが、そのエキスパートを上回ることを証明する。
• 理論的枠組みを拡張し、非一様な強さとバイアスを持つ多様なエキスパートが含まれる学習データがある場合に、超越性が実現可能であることを示す。
• Glicko-2レーティングを用いて、モデルの性能を、学習データに含まれる人間プレイヤーの最大レーティングと比較して、実証的に評価する。
• ゲーム状態ごとの報酬変化を分析することで、性能向上が特定の重要な局面に集中していることを可視化する。

Figure 1: Ratings of our autoregressive decoder-only transformer, ChessFormer, over several different temperatures. We refer to our models as “ChessFormer <Maximum Glicko-2 rating seen during training>" to easily distinguish between different models in subsequent sections. Each model is trained only

実験結果

リサーチクエスチョン

• RQ1 人間のデータを模倣学習で学習した生成モデルは、データセットに含まれる最高の個々のエキスパートを上回る性能を示せるか？
• RQ2 生成モデルがそのエキスパートの源を凌駆するメカニズムは何か？そして、どのような条件下でこの現象が生じるのか？
• RQ3 どの程度まで低温度サンプリングが、エキスパート行動のアンサンブル平均化を模倣するノイズ低減効果を発揮するのか？
• RQ4 データセットの多様性は、超越性を達成するためにどの程度重要であり、データが多様性に欠けている場合には何が起こるのか？
• RQ5 超越性による性能向上は、少数の高インパクトな局面での改善に起因するのか、それとも均一に分布しているのか？

主な発見

• 1300レーティングまでのチェス対局データで学習したChessFormerモデルは、学習データに含まれる人間プレイヤーの最大レーティングを著しく上回るGlicko-2レーティングを達成し、超越性が実証された。
• 低温度サンプリングは超越性の実現に不可欠であり、推論時の温度を低下させた場合にのみエキスパートのレーティングを上回った。これは、多数決の理論的役割が裏付けられた。
• 性能向上は、特定の少数のゲーム状態、特に重要な局面に集中しており、超越性が戦略的改善が顕著な高リスクの状況で生じることを示している。
• 多様性の低いデータセットで学習した場合、ChessFormerは超越性を達成できず、エキスパート行動の多様性が、効果的なノイズ低減と多数決の実現に不可欠であることが確認された。
• 理論的分析により、ランダムな誤りを犯す1人のエキスパートのデータで学習したモデルが、低温度サンプリング下ではそのエキスパートを上回ることを証明した。これにより、この現象の形式的基盤が確立された。
• 本研究は、生成モデルにおける低温度サンプリングと機械学習におけるアンサンブル手法との間に深い関連性を示し、分布の平滑化によって暗黙のモデルアンサンブルが実現されることを示した。

Figure 2: Visualizing the denoising effects of low temperature on the action distribution: an example of ChessFormer shifting probability mass towards the high reward move of trapping the queen with the rook as the temperature $\tau$ decreases. Opacity of the red arrows represent the probability mas