[论文解读] An Unsupervised Domain-Independent Framework for Automated Detection of Persuasion Tactics in Text

Rahul Radhakrishnan Iyer, Katia Sycara|arXiv (Cornell University)|Dec 13, 2019

Misinformation and Its Impacts参考文献 29被引用 16

一句话总结

该论文提出了一种无监督、与领域无关的框架，通过利用句子的固有结构而非词汇特征来检测文本中的说服策略。该方法在F1得分上优于监督基线模型（如Doc2Vec），性能高出7–8%，且速度显著更快，无需任何标注训练数据，证明仅依靠结构模式即可在多种领域中有效分类说服类型。

ABSTRACT

With the increasing growth of social media, people have started relying heavily on the information shared therein to form opinions and make decisions. While such a reliance is motivation for a variety of parties to promote information, it also makes people vulnerable to exploitation by slander, misinformation, terroristic and predatorial advances. In this work, we aim to understand and detect such attempts at persuasion. Existing works on detecting persuasion in text make use of lexical features for detecting persuasive tactics, without taking advantage of the possible structures inherent in the tactics used. We formulate the task as a multi-class classification problem and propose an unsupervised, domain-independent machine learning framework for detecting the type of persuasion used in text, which exploits the inherent sentence structure present in the different persuasion tactics. Our work shows promising results as compared to existing work.

研究动机与目标

• 开发一种不依赖领域特定词汇特征或标注训练数据的文本说服策略检测方法。
• 探究说服性论据的固有句法结构是否可作为跨多种领域分类的可靠指标。
• 构建一种快速、可扩展且可泛化的说服检测模型，适用于社交媒体、政治话语和安全应用。
• 在多分类任务中，将该框架的性能与Doc2Vec等监督基线模型以及基于词汇特征的模型进行对比评估。
• 证明仅依靠句子中的结构模式即可实现高于复杂神经网络模型的F1得分，同时降低计算成本。

提出的方法

• 该框架通过无监督聚类句子结构，为14种说服策略类别（如推理、稀缺性、同理心等）识别原型字符串。
• 为每句话构建解析树表示，并提取句法模式，重点关注依存结构和短语级配置。
• 从每类说服策略中的代表性句子结构中合成原型字符串，形成分类的结构指纹。
• 通过相似性度量将新句子的结构模式与学习到的原型字符串进行比较，完成分类。
• 该模型仅依赖句法和结构特征，避免使用领域特定词汇，确保与领域无关性。
• 使用多分类任务中的F1得分评估性能，并与使用词汇特征的Doc2Vec和SVM模型进行对比。

实验结果

研究问题

• RQ1 在不依赖词汇特征的前提下，句子级别的句法结构能否可靠地区分不同类型的说服策略？
• RQ2 无监督的基于结构的方法是否在说服检测任务中优于监督的嵌入基模型（如Doc2Vec）？
• RQ3 所提出的框架在政治、博客和法律论辩等多样化领域中的鲁棒性和可扩展性如何？
• RQ4 与基于词汇特征的方法相比，该模型在精确率、召回率和F1得分方面的表现如何？
• RQ5 一个简单、无监督的结构化模型能否在显著更快的速度下实现高于复杂深度学习模型的F1得分？

主要发现

• 所提出的无监督框架在F1得分上比Doc2Vec基线高出7–8%，证明其分类性能更优。
• 该模型运行速度比Doc2Vec快1.5倍，尽管原型生成所用数据极少，仍体现出显著效率。
• 该模型在推理、道义/道德诉求、结果和同理心等策略上表现优异，与先前研究结果一致。
• 该框架在不同数据规模下均保持高度稳定和鲁棒，表明其具备可靠的泛化能力。
• 在多分类任务中，该模型优于基于词汇特征的SVM和向量嵌入模型，尤其在精确率与召回率的平衡上表现更优。
• 敏感性分析证实，该方法对数据规模变化具有强鲁棒性，进一步强化了其实际可行性。