[論文レビュー] Understanding Transformer Reasoning Capabilities via Graph Algorithms

Clayton Sanford, Bahare Fatemi+6 more|arXiv (Cornell University)|May 28, 2024

AI-based Problem Solving and Planning被引用数 5

ひとこと要約

論文は、トランスフォーマーの深さ、幅、パディングがグラフ推論タスクの解決にどのように影響するかを理論的・実証的フレームワークとして示しており、ログ深度トランスフォーマーは並列化可能なタスクで優れ、単一層トランスフォーマーは取得タスクを処理する。GraphQA実験で裏付けられている。

ABSTRACT

Which transformer scaling regimes are able to perfectly solve different classes of algorithmic problems? While tremendous empirical advances have been attained by transformer-based neural networks, a theoretical understanding of their algorithmic reasoning capabilities in realistic parameter regimes is lacking. We investigate this question in terms of the network's depth, width, and number of extra tokens for algorithm execution. Our novel representational hierarchy separates 9 algorithmic reasoning problems into classes solvable by transformers in different realistic parameter scaling regimes. We prove that logarithmic depth is necessary and sufficient for tasks like graph connectivity, while single-layer transformers with small embedding dimensions can solve contextual retrieval tasks. We also support our theoretical analysis with ample empirical evidence using the GraphQA benchmark. These results show that transformers excel at many graph reasoning tasks, even outperforming specialized graph neural networks.

研究の動機と目的

• トランスフォーマーのグラフ推論タスクの表現階層を導入する。
• 深さ、幅、パディングといったスケーリングレジームが、異なるグラフタスクの解決を可能にするかを特徴づける。
• グローバル対ローカルのグラフ推論タスクで、トランスフォーマーとGNNを比較する。
• GraphQAベンチマークで理論的予測を実証的に検証する。
• グラフタスクにおける訓練済みトランスフォーマーと prompting ベースの LLM 推論のギャップを評価する。

提案手法

• グラフをトランスフォーマー入力としてエンコードするためのグラフトークン化方式を提案する（頂点、エッジ、タスクトークン）。
• スケーリングレジームを定義する：Depth1、LogDepth、LogDepthPause、LogDepthWide、特定の m、L、N' の制約を含む。
• トランスフォーマーとMPCモデルの理論的な結びつきを確立し、タスククラスに対する深さ/幅の要件を導出する。
• RetrievalタスクはDepth1トランスフォーマーで解けることを証明し、並列化可能・探索タスクはより深いまたは幅の広い構成を必要とする。
• グラフQAを用いた実証実験で、トランスフォーマー、GNN、および prompting アプローチを connectivity、shortest path、関連タスクで比較する。

実験結果

リサーチクエスチョン

• RQ1 現実的な深さ/幅/パディング制約の下で、トランスフォーマーはどのようなグラフ推論タスクを解決できるか？
• RQ2 取得タスク、並列化可能タスク、探索タスクは、深さと埋め込みサイズの依存性においてどのように異なるか？
• RQ3 トランスフォーマーはグローバルなグラフ推論タスクでGNNを上回るのか、どのデータ/サイズ条件下で？
• RQ4 promptingベースのLLM推論アプローチは、グラフタスクで専用トランスフォーマーに匹敵できるのか？
• RQ5 グラフアルゴリズムに対する対数深度トランスフォーマーの理論的限界は何か？

主な発見

• Depth O(log N) の深さを持つLogDepthトランスフォーマーは、 connectivity のような並列化可能タスクを解くことができる。
• 単一層（Depth1）トランスフォーマーは、ノード/エッジ数カウントやエッジ存在のような取得タスクを効率的に解ける。
• 探索タスク（例：shortest path）には、LogDepthWideトランスフォーマーが解けることが多く、埋め込み次元を大きくする必要がある。
• 実証的に、トランスフォーマーはグローバル推論タスクでGNNを上回り、GNNはローカルかつサンプルが少ないタスクで優れる。
• ファインチューニング済みの大規模トランスフォーマーは、グラフ推論ベンチマークで promptingベースのLLMsよりも優れている。
• 三角形カウントは、 Arboricity 条件の下で深さを O(log log N) まで低くして達成可能。