[论文解读] Limits to Depth Efficiencies of Self-Attention

Yoav Levine, Noam Wies+3 more|arXiv (Cornell University)|Jun 22, 2020

Ferroelectric and Negative Capacitance Devices被引用 22

一句话总结

本文识别出一个对数深度阈值 $ L_{\text{th}} = \log_3(d_x) $，在此阈值之外，由于宽度限制，自注意力网络变得深度低效。它解释了为何在实践中拓宽和加深在性能上表现相当，表明在该阈值之前深度效率呈双指数增长，而在此之后进一步的深度增益迅速衰减。

ABSTRACT

Self-attention architectures, which are rapidly pushing the frontier in natural language processing, demonstrate a surprising depth-inefficient behavior: Empirical signals indicate that increasing the internal representation (network width) is just as useful as increasing the number of self-attention layers (network depth). In this paper, we theoretically study the interplay between and width in self-attention, and shed light on the root of the above phenomenon. We invalidate the seemingly plausible hypothesis by which widening is as effective as deepening for self-attention, and show that in fact stacking self-attention layers is so effective that it quickly saturates a capacity of the network width. Specifically, we pinpoint a depth that is logarithmic in $d_x$, the network width: $L_{ extrm{th}}=\log_{3}(d_x)$. For networks of that is below the threshold, we establish a double-exponential depth-efficiency of the self-attention operation, while for depths over the threshold we show that depth-inefficiency kicks in. Our predictions strongly accord with extensive empirical ablations in Kaplan et al. (2020), accounting for the different behaviors in the two depth-(in)efficiency regimes. By identifying network width as a limiting factor, our analysis indicates that solutions for dramatically increasing the width can facilitate the next leap in self-attention expressivity.

研究动机与目标

• 理解为何在自注意力网络中增加宽度和深度会带来相当的性能增益这一经验观察。
• 研究尽管具有架构优势，为何自注意力网络在超过某一深度后会表现出深度低效。
• 基于网络宽度，确定自注意力机制深度效率的理论极限。
• 通过揭示宽度对深度容量的约束，解决拓宽和加深看似同样有效的明显矛盾。

提出的方法

• 基于自注意力层中的信息传播，推导出理论深度阈值 $ L_{\\text{th}} = \log_3(d_x) $，其中 $ d_x $ 为网络宽度。
• 使用双指数增长模型分析堆叠自注意力层的表达能力，该模型适用于阈值以下的深度效率。
• 确立在 $ L_{\\text{th}} $ 之后，由于宽度约束的表征容量饱和，深度增益迅速衰减。
• 通过理论分析否定了拓宽和加深在所有深度下均同样有效的假设。
• 将理论预测与Kaplan等人（2020）的实证消融结果进行比较，发现在不同深度范围内理论与实证高度一致。
• 识别出宽度作为深度效率的限制因素，表明进一步增加宽度可能解锁更大的表征能力增益。

实验结果

研究问题

• RQ1 为何尽管宽度和深度在架构角色上不同，但在自注意力网络中它们仍能带来相当的性能增益？
• RQ2 自注意力网络在超过何种理论深度阈值后会变得深度低效？
• RQ3 网络宽度如何限制自注意力机制的有效深度容量？
• RQ4 为何深度效率在饱和前表现出双指数增长模式？
• RQ5 理论预测与Kaplan等人（2020）的实证消融研究在多大程度上一致？

主要发现

• 自注意力效率的深度阈值为 $ L_{\\text{th}} = \log_3(d_x) $，其中 $ d_x $ 为网络宽度。
• 在此阈值以下，深度效率呈双指数增长，表明表征容量扩展极为高效。
• 超过该阈值后，由于宽度约束导致表征容量饱和，深度低效性开始显现。
• 理论预测与Kaplan等人（2020）的实证消融结果高度一致，验证了该模型在不同深度范围内的有效性。
• 本研究否定了拓宽和加深在所有深度下均同样有效的假设，表明宽度限制了深度潜力。
• 在未来将网络宽度提升至当前规模以上，可能显著提升自注意力机制的表征能力。