[论文解读] Adding Quaternion Representations to Attention Networks for Classification.

Nazmul Shahadat, Anthony S. Maida|arXiv (Cornell University)|Oct 4, 2021

Advanced Memory and Neural Computing参考文献 13被引用 5

一句话总结

本文通过在输入模块中引入四元数表示，提出增强轴向注意力网络以提升图像分类性能。利用四元数编码在四个通道间共享权重的特性，该方法生成了更具关联性的特征表示，从而相比标准轴向注意力网络，实现了更高的分类准确率。

ABSTRACT

This paper introduces a novel modification to axial-attention networks to improve their image classification accuracy. The modification involves supplementing axial-attention modules with quaternion input representations to improve image classification accuracy. We chose axial-attention networks because they factor 2D attention operations into two consecutive 1D operations (similar to separable convolution) and are thus less resource intensive than non-axial attention networks. We chose a quaternion encoder because of they share weights across four real-valued input channels and the weight-sharing has been shown to produce a more interlinked/interwoven output representation. We hypothesize that an attention module can be more effective using these interlinked representations as input. Our experiments support this hypothesis as reflected in the improved classification accuracy compared to standard axial-attention networks. We think this happens because the attention modules have better input representations to work with.

研究动机与目标

• 通过引入基于四元数的输入编码，提升轴向注意力网络在图像分类任务中的表征能力。
• 通过更丰富的输入表示，解决标准轴向注意力模块在捕捉复杂空间依赖关系方面的局限性。
• 利用四元数网络固有的权重共享特性，生成更具关联性与鲁棒性的特征图。
• 探究注意力机制是否因四元数编码输入而在分类性能上获益。
• 证明更优的输入表示可提升注意力模块性能，且计算成本未显著增加。

提出的方法

• 在轴向注意力网络中引入四元数编码器作为初始输入变换，替代标准的2D卷积或注意力输入层。
• 利用四元数运算同时处理四个实值输入通道，通过在所有四个通道间共享权重，强制实现特征关联。
• 通过将2D自注意力分解为沿高度和宽度方向的两个顺序1D操作，保持轴向注意力机制的效率。
• 在保留轴向注意力计算优势的同时，通过四元数编码丰富输入表示。
• 在标准图像分类基准数据集上端到端训练改进后的网络，以评估性能提升。
• 通过仅在注意力计算前的输入阶段应用四元数运算，确保与现有轴向注意力框架的兼容性。

实验结果

研究问题

• RQ1 四元数表示能否提升轴向注意力网络在图像分类任务中的性能？
• RQ2 四元数编码器的权重共享特性是否相比标准实值输入，能产生更有效的注意力表示？
• RQ3 四元数输出的关联性在多大程度上增强了注意力模块的学习能力？
• RQ4 四元数输入带来的性能提升是源于更好的特征表示，还是架构改动？
• RQ5 四元数的集成是否在保持轴向注意力效率的同时提升了准确率？

主要发现

• 所提出的四元数增强型轴向注意力网络在图像分类准确率上优于标准轴向注意力基线模型。
• 该提升归因于四元数编码器生成的更具关联性与一致性的特征表示。
• 该方法通过避免完整的2D注意力计算，保持了轴向注意力的计算效率。
• 注意力模块从更丰富的输入表示中显著获益，验证了‘更好的输入带来更好的注意力结果’的假设。
• 四元数的权重共享特性有助于在分类任务中实现更鲁棒且泛化能力更强的特征学习。
• 实证结果证实，性能提升源于输入表示的质量，而非仅架构改动。