[论文解读] Lightweight Convolutional Representations for On-Device Natural Language Processing

Shrey Desai, Geoffrey Goh+2 more|arXiv (Cornell University)|Feb 4, 2020

Topic Modeling参考文献 28被引用 7

一句话总结

本文提出一种轻量级、即插即用的卷积表示方法，用于设备端自然语言处理，用高效的逐通道可分离卷积和GELU非线性激活替代循环单元，在三星Galaxy S9上实现了高达32倍的模型压缩，同时精度损失极小，并显著降低了延迟和文件大小。

ABSTRACT

The increasing computational and memory complexities of deep neural networks have made it difficult to deploy them on low-resource electronic devices (e.g., mobile phones, tablets, wearables). Practitioners have developed numerous model compression methods to address these concerns, but few have condensed input representations themselves. In this work, we propose a fast, accurate, and lightweight convolutional representation that can be swapped into any neural model and compressed significantly (up to 32x) with a negligible reduction in performance. In addition, we show gains over recurrent representations when considering resource-centric metrics (e.g., model file size, latency, memory usage) on a Samsung Galaxy S9.

研究动机与目标

• 解决在低资源设备（如手机和可穿戴设备）上部署计算密集型自然语言处理模型的挑战。
• 在不牺牲性能的前提下，减少模型大小、推理延迟和内存占用。
• 开发一种通用的、与架构无关的表示方法，可无缝集成到任意神经编码器中，支持词、字符或字节级别的输入。
• 通过真实硬件（三星Galaxy S9）上的资源中心指标，证明该方法在效率上优于循环模型。
• 通过高效、可组合且硬件优化的组件，实现边缘设备上自然语言处理模型的实际部署。

提出的方法

• 设计基于残差块的卷积表示，采用逐通道可分离卷积以减少浮点运算量和参数数量。
• 用GELU激活函数替代门控线性单元（GLUs），以降低通道容量并改善速度-精度权衡。
• 通过分组卷积引入通道级瓶颈，进一步压缩模型，同时保持表征能力。
• 利用可分离卷积解耦空间特征与通道特征的学习，将计算成本从O(c²kt)降低至O(c²t + ckt)。
• 将该表示作为即插即用的编码器集成到现有模型中，兼容词、字符和字节级别的输入。
• 结合提出的架构与标准压缩技术（剪枝、量化、矩阵分解）以实现进一步优化。

实验结果

研究问题

• RQ1 能否设计一种轻量级卷积表示，显著减少移动设备上的模型大小和推理延迟，同时不降低精度？
• RQ2 在真实移动硬件上，该表示方法与循环模型相比，在资源效率（文件大小、延迟、内存）方面表现如何？
• RQ3 像逐通道可分离卷积和高效非线性激活这样的架构创新，在保持性能的同时，能在多大程度上降低计算成本？
• RQ4 该表示方法在不同自然语言处理任务和输入模态（词、字符、字节级别）之间是否具有可泛化性？
• RQ5 该表示方法能否与现有模型压缩技术有效结合，实现进一步优化？

主要发现

• 与三星Galaxy S9上的循环基线相比，优化后的卷积表示将模型文件大小减少了80%（0.4 MB vs. 2.8 MB），延迟降低了86%（10.1 ms vs. 109.9 ms）。
• 尽管参数量减少了27倍（92.5K vs. 2.5M），该模型在文档分类任务上达到了86.4%的准确率，优于基线卷积模型（85.7%），并匹配了循环模型87.4%的准确率。
• 当结合矩阵分解等附加技术时，该表示实现了高达32倍的压缩，与循环基线相比仅损失1%的准确率。
• 使用GELU替代GLU使模型容量降低50%，未造成性能损失，同时提升了速度和效率。
• 与循环基线相比，该模型的内存占用减少了59%（8.9 MB vs. 6.5 MB），尽管绝对内存占用仍高于循环模型。
• 该表示在三个设备端自然语言处理任务（下一个词预测、联合意图-槽位建模、文档分类）中均表现出一致优势，且在真实硬件上的效率指标更优。