[论文解读] Hedge detection as a lens on framing in the GMO debates: A position paper

Eunsol Choi, Chenhao Tan+3 more|arXiv (Cornell University)|Jun 5, 2012

Climate Change Communication and Perception参考文献 28被引用 24

一句话总结

本文提出将模糊表达检测作为计算工具，用于研究支持与反对转基因食品媒体文章在话语框架上的差异，假设科学文本中的模糊表达比大众科学文本更少。通过在科学文献（WOS）和新闻（LEXIS）语料库上训练模糊表达分类器，作者发现初步证据表明，模糊表达在科学文本中出现频率更低——这与先前观点相悖——凸显了开发更稳健、领域自适应模型的必要性，以研究公共辩论中的修辞框架。

ABSTRACT

Understanding the ways in which participants in public discussions frame their arguments is important in understanding how public opinion is formed. In this paper, we adopt the position that it is time for more computationally-oriented research on problems involving framing. In the interests of furthering that goal, we propose the following specific, interesting and, we believe, relatively accessible question: In the controversy regarding the use of genetically-modified organisms (GMOs) in agriculture, do pro- and anti-GMO articles differ in whether they choose to adopt a "scientific" tone? Prior work on the rhetoric and sociology of science suggests that hedging may distinguish popular-science text from text written by professional scientists for their colleagues. We propose a detailed approach to studying whether hedge detection can be used to understanding scientific framing in the GMO debates, and provide corpora to facilitate this study. Some of our preliminary analyses suggest that hedges occur less frequently in scientific discourse than in popular text, a finding that contradicts prior assertions in the literature. We hope that our initial work and data will encourage others to pursue this promising line of inquiry.

研究动机与目标

• 探究支持与反对转基因食品的媒体文章是否在采用‘科学’语气（即使用模糊表达）方面存在差异。
• 探索模糊表达检测是否可作为计算工具，用于分析公共辩论中的修辞框架。
• 通过在转基因语境下实证检验，挑战‘科学话语比大众科学包含更多模糊表达’这一假设。
• 在混合领域语料库（科学摘要与新闻文章）上开发并评估模糊表达检测系统，以评估其在不同领域间的可靠性。
• 提供标注数据集，并为未来关于话语框架、模糊表达及科学传播中公众意见形成的研究奠定基础。

提出的方法

• 作者基于CoNLL 2010共享任务数据集作为基础，额外对153个来自WOS（科学摘要）和LEXIS（新闻文章）的句子进行标注，训练模糊表达检测分类器。
• 采用基于提示词的方法，通过n-gram和词汇模式识别模糊表达，并利用WOS和LEXIS的小规模人工标注子集对模型进行调优。
• 在两个领域上评估模型性能，通过在人工标注测试集上的精确率、召回率和F1值进行衡量。
• 比较仅在生物科学文本（Bio）上训练的模型与结合WOS和LEXIS数据进行调优的模型在性能上的差异，以评估领域适应能力。
• 通过分析句长及误报/误报模式诊断错误，尤其关注长句中的问题。
• 报告最佳性能模型在WOS和LEXIS中被分类为不确定（即包含模糊表达）的句子所占百分比。

实验结果

研究问题

• RQ1 支持转基因和反对转基因的媒体文章在模糊表达使用上是否存在差异，表明其修辞框架存在分歧？
• RQ2 科学话语（如WOS摘要）中的模糊表达是否比大众科学（如LEXIS新闻文章）更少，与既有假设相反？
• RQ3 计算训练的模糊表达检测系统是否能可靠地区分跨领域的科学与大众科学文本？
• RQ4 领域不匹配如何影响模糊表达检测模型的性能？有哪些策略可提升跨领域泛化能力？
• RQ5 句长和提示词频率在多大程度上导致模糊表达检测中的误分类？

主要发现

• 在生物科学文本（Bio）上训练的模糊表达检测模型在WOS上的F1值高于在LEXIS上的表现，表明其在科学文本上性能更优。
• 经调优的模型（使用WOS和LEXIS数据）在WOS上表现提升，但在LEXIS上未见提升，表明存在领域特定挑战。
• 误报句子的平均长度（35.09个词）显著长于误报句子（22.0个词），表明长句更可能被错误分类为不确定。
• Bio模型在WOS与LEXIS中模糊表达频率的差异具有统计学显著性（16% vs. 19%的不确定句子），而调优模型未呈现此差异，表明结果存在不稳定性。
• 本研究的初步结果表明，科学文本中的模糊表达可能比大众科学更少，与文献中既有主张相悖。
• 作者结论认为，当前模型尚缺乏足够可靠性以得出确定性结论，呼吁未来收集更多标注数据，并改进迁移学习技术以提升跨领域模糊表达检测的性能。