[论文解读] Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers

Awni Altabaa, Taylor W. Webb+2 more|arXiv (Cornell University)|Apr 1, 2023

Advanced Text Analysis Techniques被引用 6

一句话总结

本文提出了 Abstractor，一种新型的 Transformer 模块，通过关系交叉注意力实现显式的关联推理，将关系信息与对象级特征解耦。该方法在关系性序列到序列任务上显著提升了样本效率，并在数学问题求解基准测试中实现了适度但一致的性能与样本效率提升，优于标准 Transformer。

ABSTRACT

An extension of Transformers is proposed that enables explicit relational reasoning through a novel module called the Abstractor. At the core of the Abstractor is a variant of attention called relational cross-attention. The approach is motivated by an architectural inductive bias for relational learning that disentangles relational information from object-level features. This enables explicit relational reasoning, supporting abstraction and generalization from limited data. The Abstractor is first evaluated on simple discriminative relational tasks and compared to existing relational architectures. Next, the Abstractor is evaluated on purely relational sequence-to-sequence tasks, where dramatic improvements are seen in sample efficiency compared to standard Transformers. Finally, Abstractors are evaluated on a collection of tasks based on mathematical problem solving, where consistent improvements in performance and sample efficiency are observed.

研究动机与目标

• 为解决标准 Transformer 由于对象与关系表征纠缠而导致的显式关系推理能力受限的问题。
• 构建一种架构归纳偏置——'关系瓶颈'——以将关系信息与冗余的对象级特征分离。
• 评估 Abstractor 是否在纯关系性序列到序列任务和真实世界数学推理任务中提升样本效率与性能。
• 证明通过架构修改实现显式关系处理可带来超越参数量增加的性能增益。

提出的方法

• Abstractor 引入了一种新颖的注意力机制，称为关系交叉注意力，以解耦方式计算对象表征之间的关系。
• 通过学习与对象特定特征无关的低维抽象关系表征，强制实现 '关系瓶颈'。
• Abstractor 作为附加模块集成到 Transformer 架构中，位于编码器与解码器之间，支持专门的关系推理处理。
• 该框架支持多种架构变体，包括部分关系配置，以探索表征能力的权衡。
• 实验采用字符级分词和教师强制准确率，评估在合成与数学推理任务上的性能。
• 模型比较通过包含标准与更宽宽度 Transformer 作为基线，控制参数量。

(a) $E\leftarrow\mathrm{SelfAttention}(X)$

实验结果

研究问题

• RQ1 能否通过模块化扩展 Transformer，实现通过将关系信息与对象级特征解耦来显式进行关系推理？
• RQ2 与标准 Transformer 相比，Abstractor 是否在纯关系性序列到序列任务中提升了样本效率？
• RQ3 基于 Abstractor 的架构能否在真实数学问题求解任务中实现一致的性能提升？
• RQ4 性能提升是源于架构归纳偏置，而非模型容量的增加？

主要发现

• 在纯关系性序列到序列任务中，基于 Abstractor 的模型相比标准 Transformer 显著提升了样本效率。
• 在数学问题求解任务中，基于 Abstractor 的模型在准确率与样本效率方面均优于标准与更宽宽度的 Transformer，表现适度但一致。
• 在全部五个数学任务中，基于 Abstractor 的模型始终优于标准 Transformer 与更大的 'Transformer+' 模型，表明性能增益源于架构设计，而非参数量。
• 结果表明，Abstractor 实现了一条部分关系处理路径，其中编码器负责通用输入处理，而 Abstractor 专门负责关系推理。
• 该框架表明，显式的关系归纳偏置可增强泛化能力，尤其是在低数据场景下。
• 代码与实验日志已公开，以确保可复现性。

(b) $A\leftarrow\mathrm{RelationalCrossAttention(X,S)}$