[论文解读] Lightweight and Efficient Neural Natural Language Processing with Quaternion Networks

Yi Tay, Aston Zhang+6 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 40被引用 17

一句话总结

本文通过利用超复数系统，提出基于四元数的神经网络，以实现轻量化且高效的自然语言处理，将模型参数量最多减少75%而不损失性能。通过在注意力机制和前馈层中用哈密顿积（Hamilton product）替代标准实数运算，该方法实现了表达能力强且参数高效的模型，如四元数Transformer和四元数注意力模型，在多种自然语言处理任务中实现了最先进的效率表现。

ABSTRACT

Many state-of-the-art neural models for NLP are heavily parameterized and thus memory inefficient. This paper proposes a series of lightweight and memory efficient neural architectures for a potpourri of natural language processing (NLP) tasks. To this end, our models exploit computation using Quaternion algebra and hypercomplex spaces, enabling not only expressive inter-component interactions but also significantly ($75\%$) reduced parameter size due to lesser degrees of freedom in the Hamilton product. We propose Quaternion variants of models, giving rise to new architectures such as the Quaternion attention Model and Quaternion Transformer. Extensive experiments on a battery of NLP tasks demonstrates the utility of proposed Quaternion-inspired models, enabling up to $75\%$ reduction in parameter size without significant loss in performance.

研究动机与目标

• 为解决当前先进自然语言处理模型存在的高内存与计算成本问题，这些模型通常包含数百万甚至数十亿参数。
• 探索四元数空间中的超复数表示作为神经网络自然语言处理架构的一种新型归纳偏置。
• 利用四元数代数设计注意力和Transformer模型的参数高效变体，实现显著压缩。
• 在包括文本分类、机器翻译和句法探测在内的广泛自然语言处理任务上评估所提出的四元数模型。
• 证明四元数模型在大幅减少参数量的同时，仍能保持或提升性能。

提出的方法

• 本文引入使用四元超复数（r + xi + yj + zk）的四元数表示，其中 i² = j² = k² = ijk = -1。
• 采用哈密顿积（⊗）作为核心运算，通过编码实部与虚部之间的相互依赖关系，减少自由度，从而实现模型压缩。
• 四元数注意力机制用哈密顿积替代标准点积，在超复数空间中计算注意力分数，提升表达能力。
• 四元数Transformer用四元数前馈网络替代标准线性层，在保持模型容量的同时，将参数量最多减少75%。
• 该方法支持完全和部分四元数适配，允许在效率与性能之间灵活权衡。
• 模型使用Tensor2Tensor框架和标准超参数进行训练，且与实数分量及现有架构兼容。

实验结果

研究问题

• RQ1 四元数代数能否有效应用于神经网络自然语言处理模型，以在不损失性能的前提下减少参数量？
• RQ2 与标准实数运算相比，超复数空间中的哈密顿积在注意力和前馈层中如何提升模型的表达能力？
• RQ3 四元数模型在不造成性能下降的前提下，能在多大程度上压缩Transformer和注意力机制？
• RQ4 在包括低资源和结构化预测设置在内的多样化自然语言处理任务中，四元数模型与实数模型相比表现如何？
• RQ5 四元数的四元组结构是否能自然地建模自然语言中的多义性或多头表示？如果是，它如何改善学习过程？

主要发现

• 在主谓一致（SVA）任务中，四元数Transformer在完全压缩时实现75%的参数减少，同时性能与标准Transformer相当或更优。
• 在SVA任务中，部分四元数适配使性能提升0.7%准确率，同时将参数量减少25%。
• 在涵盖8项自然语言处理任务的13个数据集上，四元数模型在显著减少参数量的同时，性能与实数基线模型相当或更优。
• 所提出的四元数注意力模型和四元数Transformer在所有评估任务中均表现出一致的效率优势，参数量最多减少75%。
• 四元数分量具有自包含性且可与实数分量互操作，支持模块化地集成到现有模型中。
• 该方法的有效性归因于哈密顿积能够编码各分量之间的潜在交互关系，从而在减少参数量的同时增强模型表达能力。