[論文レビュー] Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers

Awni Altabaa, Taylor W. Webb+2 more|arXiv (Cornell University)|Apr 1, 2023

Advanced Text Analysis Techniques被引用数 6

ひとこと要約

この論文では、関係的クロスアテンションを通じて明示的な関係的推論を可能にする、新しいトランスフォーマーモジュールであるAbstractorを紹介する。このモジュールは、オブジェクトレベルの特徴から関係的情報を分離することで、関係的推論を実現する。本手法は、関係的シーケンス・ツー・シーケンスタスクにおいて顕著なサンプル効率の向上を達成し、標準トランスフォーマーと比較して、数学的問題解決ベンチマークでもわずかだが一貫した性能向上とサンプル効率の向上を示す。

ABSTRACT

An extension of Transformers is proposed that enables explicit relational reasoning through a novel module called the Abstractor. At the core of the Abstractor is a variant of attention called relational cross-attention. The approach is motivated by an architectural inductive bias for relational learning that disentangles relational information from object-level features. This enables explicit relational reasoning, supporting abstraction and generalization from limited data. The Abstractor is first evaluated on simple discriminative relational tasks and compared to existing relational architectures. Next, the Abstractor is evaluated on purely relational sequence-to-sequence tasks, where dramatic improvements are seen in sample efficiency compared to standard Transformers. Finally, Abstractors are evaluated on a collection of tasks based on mathematical problem solving, where consistent improvements in performance and sample efficiency are observed.

研究の動機と目的

• 標準トランスフォーマーがオブジェクト表現と関係的表現が混同されているため、明示的な関係的推論をサポートできないという制限に対処すること。
• オブジェクト固有の特徴から余分な情報を分離する『関係的ボトルネック』というアーキテクチャ的インダクティブバイアスを構築すること。
• Abstractorが純粋な関係的シーケンス・ツー・シーケンスタスクおよび現実世界の数学的推論タスクにおけるサンプル効率と性能を向上させるかどうかを評価すること。
• パrameter数の増加によるものではなく、明示的な関係的処理を可能にするアーキテクチャ的変更が性能向上をもたらすことを示すこと。

提案手法

• Abstractorは、オブジェクト表現間の関係を分離された形で計算する、新しいアテンションメカニズム「関係的クロスアテンション」を導入する。
• オブジェクト固有の特徴とは独立して、低次元の抽象的表現として関係を学習することで、『関係的ボトルネック』を強制する。
• Abstractorは、エンコーダーとデコーダーの間に追加モジュールとしてトランスフォーマー・アーキテクチャに統合され、専用の関係的処理を可能にする。
• 表現能力のトレードオフを調査するため、部分的に関係的な構成を含む複数のアーキテクチャ変種をサポートする。
• 実験では、文字単位のトークン化と教師強制精度を用いて、合成的および数学的推論タスクでの性能を評価する。
• モデル比較では、パrameter数を一定に保つために、標準的および幅広い幅のトランスフォーマーをベースラインとして含める。

(a) $E\leftarrow\mathrm{SelfAttention}(X)$

実験結果

リサーチクエスチョン

• RQ1 モジュラーな拡張によって、オブジェクトレベルの特徴から関係的情報を分離することで、トランスフォーマーが明示的な関係的推論を可能にすることができるか？
• RQ2 標準トランスフォーマーと比較して、純粋な関係的シーケンス・ツー・シーケンスタスクにおいて、Abstractorがサンプル効率を向上させるか？
• RQ3 Abstractorを用いたアーキテクチャは、現実的な数学的問題解決タスクにおいて一貫した性能向上を達成できるか？
• RQ4 性能向上は、モデル容量の増加によるものではなく、アーキテクチャ的インダクティブバイアスによるものか？

主な発見

• 純粋な関係的シーケンス・ツー・シーケンスタスクでは、標準トランスフォーマーと比較して、Abstractorを搭載したモデルがサンプル効率において顕著な向上を示す。
• 数学的問題解決タスクでは、標準トランスフォーマーおよび幅広い幅のトランスフォーマーと比較して、Abstractorを搭載したモデルが、精度およびサンプル効率の両面でわずかだが一貫した向上を示す。
• 5つの数学的タスクすべてにおいて、Abstractorを搭載したモデルは、標準トランスフォーマーおよびより大きな「Transformer+」モデルを常に上回り、性能向上がパrameter数の増加によるものではなく、アーキテクチャ設計によるものであることを示している。
• 結果から、Abstractorは部分的に関係的処理パスを可能にしていることが示唆され、エンコーダーが一般の入力処理を担当し、Abstractorが関係的推論に特化していると解釈できる。
• フレームワークは、明示的な関係的インダクティブバイアスが、特に低データ環境において一般化性能を向上させることを示している。
• コードと実験ログは再現性のため公開されている。

(b) $A\leftarrow\mathrm{RelationalCrossAttention(X,S)}$