[論文レビュー] The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization

Róbert Csordás, Kazuki Irie+1 more|arXiv (Cornell University)|Oct 14, 2021

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、コピーガートと幾何的アテンションを備えた変更版Transformerアーキテクチャ、Neural Data Router (NDR) を提案する。これにより、体系的汎化のための適応的制御フローが可能となる。NDRは構成的テーブルルックアップタスクで100%の長さ一般化精度を達成し、算術およびListOpsタスクでもほぼ完璧な性能を示す。また、解釈可能なアテンションおよびゲーティングパターンを示し、直感的なニューラルルーティングに類似している。

ABSTRACT

Despite progress across a broad range of applications, Transformers have limited success in systematic generalization. The situation is especially frustrating in the case of algorithmic tasks, where they often fail to find intuitive solutions that route relevant information to the right node/operation at the right time in the grid represented by Transformer columns. To facilitate the learning of useful control flow, we propose two modifications to the Transformer architecture, copy gate and geometric attention. Our novel Neural Data Router (NDR) achieves 100% length generalization accuracy on the classic compositional table lookup task, as well as near-perfect accuracy on the simple arithmetic task and a new variant of ListOps testing for generalization across computational depths. NDR's attention and gating patterns tend to be interpretable as an intuitive form of neural routing. Our code is public.

研究の動機と目的

• 標準的なTransformerが体系的汎化に失敗し続ける問題、特に構成的推論を要するアルゴリズム的タスクにおいての課題を解決すること。
• アーキテクチャの変更が、適応的制御フローを伴う解釈可能なシンボリックに類似した解法を学習する方向に導けるかどうかを調査すること。
• Transformerアーキテクチャに明示的なルーティング機構を組み込むことで、より長いシーケンスおよびより深い計算構造への一般化を向上させること。
• 提案モデルにおけるアテンションおよびゲーティングパターンが、直感的で人間が読み取りやすい制御フローを反映しているかどうかを検証すること。

提案手法

• 入力トークンが層を跨いで保持されるのを許可するコピーガートメカニズムを導入し、変換の選択的スキップと、Transformerグリッド内での垂直的データフローを可能にする。
• 幾何的アテンションを提案する。これは、すべての可能な一致ではなく、最も近い関連するトークンに注目するように偏見をかけることで、逐次処理における局在化を向上させる。
• コピーガートと幾何的アテンションを組み合わせ、データ依存性に基づいて操作を適応的に直列化するニューラルデータルーティングメカニズムを構築する。
• 深く重みが共有されたTransformerアーキテクチャを採用し、複雑な計算グラフをサポートする。これにより、階層的処理に十分な深さを確保する。
• ゲート付きスキップ接続を用いた残差接続を採用し、勾配の流れを維持しながら、異なる層での入力の選択的処理を可能にする。
• 長さ一般化および深さ一般化の目的関数を用いて、エンドツーエンドでアルゴリズム的タスクに訓練する。

実験結果

リサーチクエスチョン

• RQ1 Transformerのアーキテクチャ的変更が、構成的推論を要するアルゴリズム的タスクにおける体系的汎化を可能にするか？
• RQ2 コピーガートと幾何的アテンションの導入が、直感的な制御フローに類似した解釈可能なアテンションおよびゲーティングパターンをもたらすか？
• RQ3 NDRは、標準的なTransformerにとって極めて困難であるとされる構成的テーブルルックアップタスクで100%の一般化精度を達成できるか？
• RQ4 ListOpsや算術タスクのようなタスクにおいて、NDRはより長いシーケンスおよびより深い計算ツリーへの一般化をどの程度達成できるか？

主な発見

• Neural Data Router (NDR) は、構成的テーブルルックアップタスクで100%の一般化精度を達成した。これは、これまでの文献では報告されていない結果である。
• 単純な算術タスクでは、NDRはほぼ完璧な一般化精度を達成し、シーケンス長にわたる強い体系的汎化を示した。
• 計算深さにわたる構成的一般化をテストする目的で新たに設計されたListOpsの変種においても、NDRはほぼ完璧な精度を達成した。これは、階層的構造の効果的な処理を示している。
• NDRにおけるアテンションおよびゲーティングパターンの可視化から、解釈可能で人間が読み取りやすい制御フローが観察された。具体的には、ゲートはすべての被演算子が利用可能になるまで閉じたまま維持され、アテンションは構造的かつ階層的に関連する演算に集中している。
• NDRにおけるアテンションおよびゲーティングダイナミクスは、深さ優先かつ依存関係に配慮した順序で処理が行われる、妥当なニューラルルーティングメカニズムに対応している。