[论文解读] Dataset of Propaganda Techniques of the State-Sponsored Information Operation of the People's Republic of China

Rong-Ching Chang, Chun-Ming Lai+2 more|arXiv (Cornell University)|Jun 14, 2021

Misinformation and Its Impacts参考文献 14被引用 10

一句话总结

本论文首次提出了基于中华人民共和国国家支持的推特账号的多语言、多标签宣传技巧数据集，其内容为中文。通过微调 BERT 模型进行多标签文本分类，模型在类别不平衡的情况下仍表现出色，准确率达到 80.35%，微平均 F1 得分为 85.43%，为跨语言和跨平台的宣传检测研究奠定了基础。

ABSTRACT

The digital media, identified as computational propaganda provides a pathway for propaganda to expand its reach without limit. State-backed propaganda aims to shape the audiences' cognition toward entities in favor of a certain political party or authority. Furthermore, it has become part of modern information warfare used in order to gain an advantage over opponents. Most of the current studies focus on using machine learning, quantitative, and qualitative methods to distinguish if a certain piece of information on social media is propaganda. Mainly conducted on English content, but very little research addresses Chinese Mandarin content. From propaganda detection, we want to go one step further to provide more fine-grained information on propaganda techniques that are applied. In this research, we aim to bridge the information gap by providing a multi-labeled propaganda techniques dataset in Mandarin based on a state-backed information operation dataset provided by Twitter. In addition to presenting the dataset, we apply a multi-label text classification using fine-tuned BERT. Potentially this could help future research in detecting state-backed propaganda online especially in a cross-lingual context and cross platforms identity consolidation.

研究动机与目标

• 为解决中文领域缺乏标注的宣传技巧数据集，特别是针对国家支持的信息行动问题。
• 提供一份细粒度的、多标签的中文社交媒体内容中应用的宣传技巧数据集。
• 通过提供标准化的多语言、多语言数据集，支持跨语言和跨平台的国家支持宣传研究。
• 通过在中文内容上训练和评估微调后的 BERT 模型，提升非英文语境下宣传内容的检测能力。
• 通过分析国家支持内容的语言特征，为未来在身份整合、信息来源追踪和立场检测方面的研究提供支持。

提出的方法

• 从 2019 年 7 月推特公布的国家关联推特账号中构建了 9,950 条中文句子的数据集。
• 基于先前文献定义了 21 种宣传技巧，包括 '诉诸恐惧'、'情感化语言' 和 '刻板印象' 等技术。
• 采用多标签标注方案，允许每个句子被标记为多个宣传技巧。
• 使用 20 维的线性层和正则化 dropout 层对 BERT 模型进行微调。
• 使用 BCEWithLogitsLoss 损失函数，配合 Adam 优化器，并在 2 个周期内使用 1e-5 的低初始学习率以实现最佳收敛。
• 在 80/20 的训练-测试划分上，使用准确率、微平均 F1 得分和宏平均 F1 得分评估模型性能。

实验结果

研究问题

• RQ1 中华人民共和国国家支持的推特账号在中文内容中系统性地使用了哪些宣传技巧？
• RQ2 微调后的 BERT 模型在中文文本中同时分类多种宣传技巧的效率如何？
• RQ3 数据集中类别不平衡在多标签宣传分类模型性能上的影响程度如何？
• RQ4 中文宣传的语言特征能否用于追踪信息来源或跨平台关联账户？
• RQ5 中国国家支持的宣传在语言模式上与英文或其他语言有何不同？

主要发现

• 微调后的 BERT 模型在两个周期内将训练损失从 0.71102 降低至 0.05953，表明其收敛迅速。
• 该模型在测试集上实现了 80.352% 的整体准确率，表明其在多标签任务上具有强大的泛化能力。
• 微平均 F1 得分为 85.431%，表明在聚合所有样本时性能表现优异。
• 宏平均 F1 得分为 20.803%，揭示了由于类别不平衡，各标签性能存在显著差异。
• 该数据集包含 9,950 条句子，标注了 21 种宣传技巧，其中一种标签未出现，凸显了数据不平衡问题。
• 中国国家支持的宣传行动主要针对流亡华人、人权律师和香港示威者，与已知的虚假信息活动一致。