[论文解读] A Mathematical Theory of Attention

James Vuckovic, Aristide Baratin+1 more|arXiv (Cornell University)|Jul 6, 2020

Neural Networks and Applications参考文献 33被引用 8

一句话总结

本文利用测度理论和马尔可夫核，为注意力机制构建了一个严格的数学框架，将自注意力建模为相互作用粒子系统，并在适当的度量下证明了其利普希茨连续性。该研究确立了注意力机制求解最大熵问题，为其在深度学习模型中的成功提供了原则性的理论基础。

ABSTRACT

Attention is a powerful component of modern neural networks across a wide variety of domains. However, despite its ubiquity in machine learning, there is a gap in our understanding of attention from a theoretical point of view. We propose a framework to fill this gap by building a mathematically equivalent model of attention using measure theory. With this model, we are able to interpret self-attention as a system of self-interacting particles, we shed light on self-attention from a maximum entropy perspective, and we show that attention is actually Lipschitz-continuous (with an appropriate metric) under suitable assumptions. We then apply these insights to the problem of mis-specified input data; infinitely-deep, weight-sharing self-attention networks; and more general Lipschitz estimates for a specific type of attention studied in concurrent work.

研究动机与目标

• 为尽管在深度学习中广泛应用但其理论理解仍存在空白的注意力机制填补理论空白。
• 使用测度理论和马尔可夫核，开发注意力机制的数学等价模型，以实现严格分析。
• 建立注意力机制的基础性质，如在熵最大化框架下的连续性和最优性。
• 将理论洞见应用于实际问题：输入鲁棒性、无限深度网络以及广义利普希茨界。

提出的方法

• 使用概率测度和马尔可夫核来表示查询-键-值交互，以建模注意力机制。
• 将自注意力形式化为概率测度空间上的非线性变换。
• 利用Kullback-Leibler投影，将注意力解释为求解最大熵问题。
• 应用测度值动力学和Wasserstein度量的工具分析正则性。
• 在1-Wasserstein距离下推导利普希茨连续性估计，并给出利普希茨常数的显式上界。
• 将结果扩展至权共享、无限深度网络，并放宽同期工作的有界性假设。

实验结果

研究问题

• RQ1 如何利用测度理论正式建模注意力机制，以实现严格分析？
• RQ2 自注意力在相互作用粒子系统中的结构化解释是什么？
• RQ3 注意力是否对应于基于熵的优化框架中的最优解？
• RQ4 注意力在合适的度量下是否具有利普希茨连续性，其利普希茨常数的界可以如何确定？
• RQ5 该模型的理论洞见如何应用于输入错误指定下的鲁棒性及深度架构问题？

主要发现

• 注意力在数学上等价于一个通过非线性测度变换演化的自相互作用粒子系统。
• 证明了自注意力求解最大熵问题和最小熵投影，从变分角度确立了其最优性。
• 在1-Wasserstein距离下，证明了注意力的利普希茨连续性，并给出了利普希茨常数的显式上界。
• 该框架支持对权共享、无限深度自注意力网络的分析，表明其在深度增加下仍保持稳定。
• 该理论提供了广义利普希茨估计，相较于同期工作放宽了有界性假设。
• 该模型支持推导出自注意力网络中上下文嵌入距离的可检验预测，例如对包含否定句的句子。