[论文解读] Multi-modal Sentiment Analysis using Super Characters Method on Low-power CNN Accelerator Device

Baohua Sun, Lin Yang+2 more|arXiv (Cornell University)|Jan 28, 2020

Sentiment Analysis and Opinion Mining参考文献 8被引用 4

一句话总结

本文提出了一种改进的 Super Characters 方法，用于在低功耗 CNN 加速器硬件上进行多模态情感分析，将文本和表格数据整合为二维图像表示以实现高效推理。该方法在 300mW 的 CNN 芯片上实现了高达 80.82% 的准确率，证明了在真实世界中实现低功耗、高效 NLP 部署的可行性。

ABSTRACT

Recent years NLP research has witnessed the record-breaking accuracy improvement by DNN models. However, power consumption is one of the practical concerns for deploying NLP systems. Most of the current state-of-the-art algorithms are implemented on GPUs, which is not power-efficient and the deployment cost is also very high. On the other hand, CNN Domain Specific Accelerator (CNN-DSA) has been in mass production providing low-power and low cost computation power. In this paper, we will implement the Super Characters method on the CNN-DSA. In addition, we modify the Super Characters method to utilize the multi-modal data, i.e. text plus tabular data in the CL-Aff sharedtask.

研究动机与目标

• 解决在功耗受限环境中部署高精度 NLP 模型的挑战。
• 将 Super Characters 方法扩展至处理多模态输入（文本和表格数据），用于情感分类。
• 证明在低功耗、低成本 CNN 加速器芯片上运行基于深度神经网络的情感分析的可行性。
• 通过微调和数据增强策略，提升模型在小样本、数据分布不均的数据集上的泛化能力。
• 在 CL-AFF 共享任务数据集上评估性能，该数据集包含六个基于 Reddit 评论及其元数据的二分类情感分析任务。

提出的方法

• 使用平方英文单词（SEW）方法将文本输入转换为二维 Super Characters 图像，适用于拉丁字母脚本。
• 将表格数据（如词数、created_utc）整合到二维图像的独立区域中，实现多模态融合。
• 使用模型开发工具包（MDK）在 CNN 领域专用加速器（CNN-DSA）上训练 CNN 模型，随后通过软件开发工具包（SDK）部署定点模型。
• 采用十折交叉验证，为六个情感分析任务分别训练和评估六个独立的二分类模型。
• 根据句子长度分布优化图像布局，以在 224×224 分辨率限制内最大化特征表示。
• 通过在更大数据集上微调预训练模型，利用迁移学习提升在较小 CL-AFF 数据集上的性能。

实验结果

研究问题

• RQ1 Super Characters 方法能否有效扩展以处理结合文本和表格数据的多模态输入？
• RQ2 在低功耗 CNN 加速器硬件上，Super Characters 方法在多模态情感分析任务中的性能表现如何？
• RQ3 模型微调和数据增强对在低资源、数据分布不均的数据集（如 CL-AFF）上的性能有何影响？
• RQ4 Super Characters 方法能否在边缘设备上实现具有竞争力的准确率，同时保持低功耗（300mW）和高推理速度（140fps）？
• RQ5 在仅使用原始文本的基础上，引入作者身份和元数据如何提升情感分类性能？

主要发现

• 表现最佳的模型（设计选项四）在 General_support 任务上达到了 80.82% 的准确率，优于基线预测结果。
• 设计选项四在所有任务中均略优于设计选项一，其在 Emotion_support 任务上的 F1 分数最高，达到 59.29%。
• 该模型在低功耗 CNN 加速器芯片上实现了 140fps 的推理速度，功耗仅为 300mW，证实了其能效优势。
• 尽管性能有所提升，但大多数任务的整体准确率仍低于 80%，表明在小样本、不平衡数据集上仍存在挑战。
• 使用微调的预训练模型和数据增强技术（如同义词替换）有望进一步提升在低资源数据集上的性能。
• 与在更大数据集（如 Wikipedia）上报告的结果相比，本研究结果的准确率较低，凸显了对更优数据扩展或增强技术的需求。