[论文解读] Multi-channel CNN to classify nepali covid-19 related tweets using hybrid features

Chiranjibi Sitaula, Tej Bahadur Shahi|arXiv (Cornell University)|Mar 19, 2022

Misinformation and Its Impacts参考文献 24被引用 4

一句话总结

本论文提出了一种多通道卷积神经网络（MCNN），结合了词袋模型（句法）与 fastText/领域特定嵌入（语义）的混合特征提取方法，用于将尼泊尔语新冠 tweets 分类为积极、中性和消极情绪。MCNN 模型在 NepCOV19Tweets 数据集上实现了 71.3% 的分类准确率，通过通道独立学习与集成融合有效捕捉多尺度特征，优于现有方法。

ABSTRACT

Because of the current COVID-19 pandemic with its increasing fears among people, it has triggered several health complications such as depression and anxiety. Such complications have not only affected the developed countries but also developing countries such as Nepal. These complications can be understood from peoples' tweets/comments posted online after their proper analysis and sentiment classification. Nevertheless, owing to the limited number of tokens/words in each tweet, it is always crucial to capture multiple information associated with them for their better understanding. In this study, we, first, represent each tweet by combining both syntactic and semantic information, called hybrid features. The syntactic information is generated from the bag of words method, whereas the semantic information is generated from the combination of the fastText-based (ft) and domain-specific (ds) methods. Second, we design a novel multi-channel convolutional neural network (MCNN), which ensembles the multiple CNNs, to capture multi-scale information for better classification. Last, we evaluate the efficacy of both the proposed feature extraction method and the MCNN model classifying tweets into three sentiment classes (positive, neutral and negative) on NepCOV19Tweets dataset, which is the only public COVID-19 tweets dataset in Nepali language. The evaluation results show that the proposed hybrid features outperform individual feature extraction methods with the highest classification accuracy of 69.7% and the MCNN model outperforms the existing methods with the highest classification accuracy of 71.3% during classification.

研究动机与目标

• 解决低资源语言（如尼泊尔语）中情感分类的挑战，传统 NLP 方法受限于短文本长度和缺乏上下文特征。
• 通过结合句法与语义信息，克服单一特征方法（如仅使用词袋模型或词嵌入）的局限性，以提升 tweet 表示能力。
• 设计一种新型多通道卷积神经网络架构，从混合特征中捕捉多尺度判别性特征，以提升分类性能。
• 在公开可用的尼泊尔语新冠 tweets 数据集上展示所提方法的有效性，该数据集是目前唯一针对尼泊尔语的此类数据集。
• 通过整合领域特定嵌入与预训练嵌入到深度学习模型中，为未来尼泊尔语 NLP 研究建立稳健基线。

提出的方法

• 通过结合词袋模型（句法）与 fastText 基础及领域特定词嵌入（语义）构建混合特征，以丰富 tweet 表示。
• 设计一个包含四个并行卷积分支的多通道卷积神经网络（MCNN）：三个分支分别处理单一特征类型（BoW、fastText、领域特定），一个分支处理拼接后的混合特征。
• 对每个通道应用具有 ReLU 激活函数的一维卷积层与最大池化操作，以提取局部多尺度特征，随后进行全局平均池化。
• 采用基于平均值的决策融合策略，融合四个通道的输出，以平衡高置信度与低置信度预测。
• 使用随机梯度下降与分类交叉熵损失函数、Adam 优化器，端到端训练 MCNN 模型。
• 通过 10 折交叉验证与统计显著性检验（p 值 < 2.2e-16）评估模型性能，以确保鲁棒性。

实验结果

研究问题

• RQ1 与单一特征类型相比，结合句法与语义信息的混合特征提取方法是否能提升低资源尼泊尔语 tweets 的情感分类性能？
• RQ2 并行处理多种特征类型的多通道 CNN 架构是否在尼泊尔语新冠 tweets 分类任务中优于单通道模型？
• RQ3 在组合多个 CNN 通道的预测结果时，哪种决策融合策略（求和、最大值、平均值）能产生最稳定且准确的分类结果？
• RQ4 MCNN 模型在不同情绪类别（积极、中性、消极）上的精确率、召回率与 F1 分数表现如何？
• RQ5 所提方法在多个交叉验证折中是否具有统计显著性与鲁棒性？

主要发现

• 所提混合特征提取方法实现了 69.7% 的最高分类准确率，优于单一特征类型（BoW、fastText、领域特定）在情感分类中的表现。
• MCNN 模型在 NepCOV19Tweets 数据集上实现了 71.3% 的最先进分类准确率，优于现有方法。
• 基于平均值的决策融合策略表现最稳定，能够同时保留各类别的高置信度与低置信度预测。
• MCNN 模型在消极类别上达到 73.3% 的精确率、75.1% 的召回率与 74.2% 的 F1 分数；在积极类别上达到 68.8% 的精确率与 83.3% 的召回率。
• 统计分析证实模型具有鲁棒性，准确率的 95% 置信区间为 [71.0, 71.5]，所有指标的 p 值均小于 2.2e-16。
• 消融研究显示，每个独立通道均贡献了判别性特征，其中通道 C3 在积极 tweets 上达到最高的 F1 分数（75.4%），且完整 MCNN 在所有指标上均优于所有单通道模型。