[論文レビュー] Can Transformers Learn to Solve Problems Recursively?

Shizhuo Dylan Zhang, Curt Tigges+3 more|arXiv (Cornell University)|May 24, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、構造的再帰関数—プログラム合成や形式的検証の根幹をなす—を、入出力例の学習によって小規模なトランスフォーマー・モデルがどのように模倣できるかを調査する。機械的解釈技術を用いて、モデルが学習する「ショートカット」アルゴリズムを再構築した結果、失敗ケースの最大91％を予測可能であり、トランスフォーマーが真の意味的一般化ではなく、不完全な深さ依存のヒューリスティクスによって再帰を近似していることが明らかになった。

ABSTRACT

Neural networks have in recent years shown promise for helping software engineers write programs and even formally verify them. While semantic information plays a crucial part in these processes, it remains unclear to what degree popular neural architectures like transformers are capable of modeling that information. This paper examines the behavior of neural networks learning algorithms relevant to programs and formal verification proofs through the lens of mechanistic interpretability, focusing in particular on structural recursion. Structural recursion is at the heart of tasks on which symbolic tools currently outperform neural models, like inferring semantic relations between datatypes and emulating program behavior. We evaluate the ability of transformer models to learn to emulate the behavior of structurally recursive functions from input-output examples. Our evaluation includes empirical and conceptual analyses of the limitations and capabilities of transformer models in approximating these functions, as well as reconstructions of the ``shortcut" algorithms the model learns. By reconstructing these algorithms, we are able to correctly predict 91 percent of failure cases for one of the approximated functions. Our work provides a new foundation for understanding the behavior of neural networks that fail to solve the very tasks they are trained for.

研究の動機と目的

• トランスフォーマー・モデルが、プログラム合成や形式的検証の根幹をなす、構造的再帰関数を入出力例からの学習で模倣できるかどうかを調査すること。
• 特に再帰的意味論のモデル化に失敗する理由を分析し、明示的に訓練されたタスクにおいてもなぜ失敗するのかを解明すること。
• 機械的解釈技術を用いて、トランスフォーマーが学習する「ショートカット」アルゴリズムを逆算すること。
• 注意メカニズムとモデルの深さが、こうした学習された非最適な行動をどのように形作るかを理解すること。
• 再帰的および意味的推論タスクにおけるニューラル・モデルの訓練、プロンプティング、評価の改善の基盤を提供すること。

提案手法

• 構造的再帰を含む合成タスク（例：二進後続関数、木の走査）に対して、小規模なトランスフォーマー・モデルをゼロから訓練する。
• 抽象状態機械（ASMs）を形式的フレームワークとして用い、トランスフォーマーの計算的挙動をモデル化・分析する。
• 対照的パッチ、回路トレース、注意ヘッド分析などの機械的解釈技術を適用し、学習されたアルゴリズムを逆算する。
• レイヤーとヘッドを横断して注意パターンを追跡し、モデルが再帰的サブ構造、括弧信号、ノードのコピー処理をどのように扱っているかを特定する。
• 再帰的還元やサブツリーのコピーを追跡するために、UNROLL および EMPTY トークンをシンボリックなマーカーとして使用する。
• 括弧の閉じの重要ポイントでの注意依存関係と挙動の変化を分析し、ショートカット・アルゴリズムを再構築する。

(a) Decoder self-attention. Reverse Order.

実験結果

リサーチクエスチョン

• RQ1 小規模なトランスフォーマー・モデルは、再帰的構造に関する明示的指導がなくても、入出力例からの学習で構造的再帰関数を模倣できるか？
• RQ2 真の再帰的一般化の代わりに、トランスフォーマーが学習する「ショートカット」アルゴリズムの種類は何か？ そして、それらはどのように失敗するのか？
• RQ3 推論中に、トランスフォーマーの注意メカニズムは再帰的サブ構造をどのようにエンコード・操作しているか？
• RQ4 機械的解釈技術は、再帰的タスクに訓練されたトランスフォーマー・モデルの失敗ケースをどの程度正確に予測できるか？
• RQ5 モデルの深さとハイパーパrameterの選択は、再帰的推論における深さ依存のヒューリスティクスの出現にどの程度影響を与えるか？

主な発見

• モデルは構造的再帰関数をうまく近似するが、真の再帰的一般化ではなく、学習されたショートカットを介して行っている。
• ある関数に関して、最大91％の失敗ケースが、モデルが学習したショートカット・アルゴリズムを再構築することで正しく予測可能であった。
• 初期レイヤーの注意メカニズムにはタスク固有のパターンが見られる：1つのヘッドが括弧のような前方シンボルを追跡し、もう1つのヘッドが符号化されたトークンに線形に注目している。
• より深い木構造では、モデルはデコーダー自身の注意を用いて親ノードを追跡し、UNROLL シンボルを再帰的構成のシグナルとして使用している。
• モデルは深さに依存するテクニック（例：サブツリーの展開後にルートノードをコピーする）を学習しており、これはより複雑または深い再帰的構造では機能しなくなる。
• 異なるハイパーパrameter設定により、異なる学習アルゴリズムが得られることが示され、モデルの挙動が単純な再帰的タスクであっても、訓練設定に敏感であることが明らかになった。

(b) Encoder self-attention. Reverse Order