[论文解读] Time-aware Large Kernel Convolutions

Vasileios Lioutas, Yuhong Guo|arXiv (Cornell University)|Feb 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 16

一句话总结

本文提出时间感知大核（TaLK）卷积，一种新颖的自适应卷积方法，通过为每个时间步学习动态感受野大小，利用并行前缀和计算的求和面积表，实现线性时间复杂度 O(n)。该方法在速度和内存效率方面优于自注意力机制与动态卷积，在机器翻译、抽象摘要和语言建模基准任务上达到或超越当前最先进性能。

ABSTRACT

To date, most state-of-the-art sequence modeling architectures use attention to build generative models for language based tasks. Some of these models use all the available sequence tokens to generate an attention distribution which results in time complexity of $O(n^2)$. Alternatively, they utilize depthwise convolutions with softmax normalized kernels of size $k$ acting as a limited-window self-attention, resulting in time complexity of $O(k{\cdot}n)$. In this paper, we introduce Time-aware Large Kernel (TaLK) Convolutions, a novel adaptive convolution operation that learns to predict the size of a summation kernel instead of using a fixed-sized kernel matrix. This method yields a time complexity of $O(n)$, effectively making the sequence encoding process linear to the number of tokens. We evaluate the proposed method on large-scale standard machine translation, abstractive summarization and language modeling datasets and show that TaLK Convolutions constitute an efficient improvement over other attention/convolution based approaches.

研究动机与目标

• 解决自注意力机制在序列建模中时间复杂度为 O(n²) 的问题。
• 在保持强性能的同时，降低长序列建模的计算与内存开销。
• 开发一种非自回归、无注意力机制的变压器与动态卷积的替代方案，具备线性时间复杂度。
• 通过高效的感受野大小预测与求和面积表计算，实现长序列上更快的推理与训练。
• 在标准自然语言处理基准上实现具有竞争力或更优的结果，同时最小化参数量与内存占用。

提出的方法

• 该方法引入一种自适应卷积，为每个时间步预测左、右感受野偏移量，而非学习固定的卷积核权重。
• 利用可学习函数预测每个标记的有效上下文窗口大小，实现可变感受野。
• 通过并行前缀和在 O(log n) 时间内预计算求和面积表（积分图像），实现在任意标记跨度上的 O(1) 范围求和查询。
• 模型通过预计算的求和面积表，对选定上下文窗口内的特征进行加权求和，得到最终表示。
• 采用输出归一化与对预测偏移量应用 Dropout，以稳定训练过程，防止对固定感受野大小的过拟合。
• 模型采用类似多头注意力的结构（最多 H=512 个头），使每个通道独立学习偏移预测，随后降维至 H=4 以提升性能。

实验结果

研究问题

• RQ1 卷积方法是否能在保持竞争力性能的同时，实现序列建模的线性时间复杂度 O(n)？
• RQ2 与固定感受野相比，学习动态感受野边界是否能提升建模效率并更好地捕捉长距离依赖？
• RQ3 使用结合并行前缀和的求和面积表，是否能实现比自注意力或动态卷积更快、更内存高效的序列编码？
• RQ4 在标准自然语言处理基准上，该方法与自注意力机制及动态卷积相比，在速度、内存使用与性能方面表现如何？
• RQ5 哪些超参数选择（如头数、归一化、Dropout）最有利于稳定训练并提升性能？

主要发现

• TaLK 卷积方法实现了 O(n) 时间复杂度，显著快于自注意力机制的 O(n²) 复杂度与动态卷积的 O(k·n) 复杂度。
• 当序列长度 n=10,000 时，自注意力机制因显存不足而崩溃，而 TaLK 卷积成功处理了该序列。
• 在 IWSLT De-En 翻译基准上，TaLK 卷积取得了新的 SOTA BLEU 分数，优于先前方法。
• 在 CNN-DailyMail 摘要数据集上，TaLK 卷积取得了新的 SOTA ROUGE-L 分数，展现出强大的抽象摘要能力。
• 在 WikiText-103 语言建模范例上，TaLK 卷积优于动态卷积，并与自注意力模型性能相当。
• 与自注意力机制相比，该方法将内存使用量降低了最多 4.5 倍，并在长序列上表现出更高的吞吐量。