[論文レビュー] Transformers Learn Shortcuts to Automata

Bingbin Liu, Jordan T. Ash+3 more|arXiv (Cornell University)|Oct 19, 2022

Machine Learning and Algorithms被引用数 11

ひとこと要約

この論文は、階層的再パrameter化を用いて、有限状態オートマトンをシミュレートするための '短絡的' 解法を変換器が学習することを示している。これにより、シーケンス長 T よりもはるかに浅い O(log T) あるいはすなわち O(1) の深さで逐次計算を正確にエミュレートできる。理論的および実験的結果から、これらの短絡的解法は一般的に、効率的に、標準的な学習によって得られることを示しているが、分布外一般化においては壊れやすく、脆弱であることが判明した。

ABSTRACT

Algorithmic reasoning requires capabilities which are most naturally understood through recurrent models of computation, like the Turing machine. However, Transformer models, while lacking recurrence, are able to perform such reasoning using far fewer layers than the number of reasoning steps. This raises the question: what solutions are learned by these shallow and non-recurrent models? We find that a low-depth Transformer can represent the computations of any finite-state automaton (thus, any bounded-memory algorithm), by hierarchically reparameterizing its recurrent dynamics. Our theoretical results characterize shortcut solutions, whereby a Transformer with $o(T)$ layers can exactly replicate the computation of an automaton on an input sequence of length $T$. We find that polynomial-sized $O(\log T)$-depth solutions always exist; furthermore, $O(1)$-depth simulators are surprisingly common, and can be understood using tools from Krohn-Rhodes theory and circuit complexity. Empirically, we perform synthetic experiments by training Transformers to simulate a wide variety of automata, and show that shortcut solutions can be learned via standard training. We further investigate the brittleness of these solutions and propose potential mitigations.

研究の動機と目的

• 非再帰的で浅い変換器が、通常は逐次計算を要するアルゴリズム的推論タスクをどのように処理するかを理解すること。
• 変換器がシーケンス長に比べて深さが線形でない（サブラインアー）方法で有限状態オートマトンを正確にシミュレートできるかを調査すること。
• このような短絡的解法が存在する構造的および計算的条件を同定すること。
• 実際の応用において、学習された短絡的解法の頑健性および一般化特性を評価すること。
• より頑健でRNNに似た反復的推論に至るよう変換器を誘導する学習戦略を提案すること。

提案手法

• Krohn-Rhodes分解と回路複雑性を用いた理論的分析により、定数深さの変換器が半オートマトンをシミュレート可能な条件を同定する。
• 遷移ダイナミクスの階層的再パrameter化を用いて、任意の有限状態オートマトンを正確にシミュレートする、深さ-O(log T)およびO(1)-深さの明示的変換器アーキテクチャを構築する。
• 標準的な非自己回帰的変換器を、さまざまな半オートマトンタスクに学習させ、標準的な最適化プロセス下で短絡的解法がいかに学習されるかを実験的に観察する。
• 自己回帰的変換器が反復的で、チェーン・オブ・トゥーク形式の推論を学習できるよう、最近性バイアス付きスクラッチパッド学習を導入する。
• 周期的活性化（例：sin/cos）とマックスプーリングを用いて、前向きネットワークにおける幅と深さの要件を低減する。
• 回路複雑性からの還元（例：NC¹完全性）を適用し、非可解な半オートマトンに対する深さ要件の下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 浅く非再帰的な変換器は、シーケンス長 T に対して深さがサブラインアーな範囲で、有限状態オートマトンの計算を正確にシミュレートできるか？
• RQ2 半オートマトンに対して定数深さの短絡的解法が存在する条件は何か？ また、それらは代数的構造とどのように関係しているか？
• RQ3 標準的な学習手順によって、変換器が自然にこれらの短絡的解法を学習するのか？
• RQ4 特にシーケンス長の変化に対して、学習された短絡的解法はどの程度頑健か？
• RQ5 短絡的解法ではなく、反復的でRNNに似た推論を学習できるように、変換器を誘導できるか？

主な発見

• 深さ-O(log T)の変換器は、シーケンス長 T にかかわらず、任意の有限状態オートマトンを正確にシミュレートできる。
• 可解な半オートマトンに対しては、Krohn-Rhodes定理により保証されるように、定数深さ（O(1)）の短絡的解法が存在する。
• 非可解な半オートマトンに対しては、TC⁰ = NC¹ でない限り、定数深さでのシミュレーションは不可能であり、理論的下界が確立される。
• 実験的学習から、非凸最適化の下でも、標準的な変換器が多様なオートマトンタイプに対して短絡的解法に収束することが示された。
• 学習された短絡的解法は、分布外一般化に劣り、特に未観測のシーケンス長に対してはRNNに劣る。
• 最近性バイアス付きスクラッチパッド学習により、自己回帰的変換器が反復的でチェーン・オブ・トゥーク形式の推論を学習することが成功した。これにより、短絡的解法の脆弱性が緩和された。