[論文レビュー] Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks

Yuxuan Li, James L. McClelland|arXiv (Cornell University)|Oct 2, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文は、ラベルベースの順序符号化を用いた2層因果的トランスフォーマーが、コピー、反転、階層的ソートなどのアルゴリズム的タスクにおいて、トレーニング時に見られなかった長さのシーケンスへも強力な体系的一般化を達成することを示している。モデルは解釈可能なタスク分解型の注意パターンを発展させ、関連するタスク間で共通の計算を活用しており、自己注意機構が明示的な記号的コンponentsを用いずに構造的な計算を可能にする仕組みを明らかにしている。

ABSTRACT

Transformer networks have seen great success in natural language processing and machine vision, where task objectives such as next word prediction and image classification benefit from nuanced context sensitivity across high-dimensional inputs. However, there is an ongoing debate about how and when transformers can acquire highly structured behavior and achieve systematic generalization. Here, we explore how well a causal transformer can perform a set of algorithmic tasks, including copying, sorting, and hierarchical compositions of these operations. We demonstrate strong generalization to sequences longer than those used in training by replacing the standard positional encoding typically used in transformers with labels arbitrarily paired with items in the sequence. We search for the layer and head configuration sufficient to solve these tasks, then probe for signs of systematic processing in latent representations and attention patterns. We show that two-layer transformers learn reliable solutions to multi-level problems, develop signs of task decomposition, and encode input items in a way that encourages the exploitation of shared computation across related tasks. These results provide key insights into how attention layers support structured computation both within a task and across multiple tasks.

研究の動機と目的

• トランスフォーマーが明示的な記号的インダクティブバイアスを用いずに、構造的なアルゴリズム的タスクでどのように体系的一般化を達成するかを調査すること。
• 長さ一般化を可能にするために、ラベルベースの順序符号化と標準的な位置符号化の有効性を評価すること。
• 関連するタスク間でタスク分解と共通計算の兆候を示す、注意メカニズムと潜在表現を分析すること。
• 多ヘッド自己注意機構が構造的で多段階の推論をどのように支援するかを理解すること。

提案手法

• 100,000個のシーケンス（5〜50項目）から成るデータセット上で2層因果的トランスフォーマーを訓練し、1-of-K / マルチホットトークン符号化を用いて分離された特徴表現を採用した。
• 標準的な位置符号化の代わりに、各アイテムにランダムラベルを割り当ててシーケンスの順序を伝えることで、より長いシーケンスへの一般化を可能にした。
• 目的の操作（例：コピー、ソート、グループ化）を条件づけるために、タスク固有の1-of-Kトークンを使用した。
• ヘッドレベルおよびレイヤーレベルの動的特性を分析するために、注意のアブレーションと表現プロービングを実施した。
• 最大トレーニング長（50項目）より長いテストシーケンス上でモデルのパフォーマンスを評価した。
• 注意パターンと特徴表現を分析して、体系的処理とタスク分解の兆候を検出した。

実験結果

リサーチクエスチョン

• RQ1 最小限の2層因果的トランスフォーマーは、シーケンス操作を伴う複数のアルゴリズム的タスクを学習し、体系的に一般化できるか？
• RQ2 ラベルベースの順序符号化は、標準的な位置符号化と比較して、長さ一般化をどのように可能にするか？
• RQ3 トランスフォーマーの注意ヘッドは、複雑な操作の体系的分解を反映する解釈可能な、タスク固有の役割を発展させるか？
• RQ4 潜在表現は、関連するタスク間で共有される構造的パターンをどの程度正確にエンコードしているか？

主な発見

• ラベルベースの順序符号化により、最大トレーニング長50項目をはるかに超える長さのシーケンスに対しても、信頼性の高い一般化が可能になった。
• 2層トランスフォーマーは、階層的ソートやグループ化といった多段階タスクに対して、信頼性のある解決策を学習し、体系的一般化を示した。
• 注意ヘッドは、特徴グループ化や順序付けといったサブコンポーネントに特化した兆候を示しており、タスク分解の兆候が見られた。
• 潜在表現は、異なる特徴順序でソートするなどの関連タスク間で共通の計算を促進する形で、アイテムの特徴をエンコードしていた。
• モデルは、既知のタスク構造と整合する解釈可能な注意パターンを発展させ、エメrgェント記号的処理に類似したプロセスが生じていることを示唆した。
• 学習可能かつ正弦波型の位置符号化は、ラベルベース手法と比較して、長さ一般化が劣り、トレーニングが遅かった。