[论文解读] Adapting sentiment analysis for tweets linking to scientific papers

Natalie Friedrich, Timothy D. Bowman+2 more|arXiv (Cornell University)|Jul 7, 2015

Complex Network Analysis Techniques参考文献 1被引用 33

一句话总结

本研究将情感分析技术应用于分析链接至科学论文的推文，发现仅一小部分（约15%）对研究表达了情感，而大多数为信息性或宣传性内容。研究结果表明，大多数推文的作用类似于引用式传播，而非学术影响力表达，这挑战了推文能可靠反映研究影响力的假设。

ABSTRACT

In the context of altmetrics, tweets have been discussed as potential indicators of immediate and broader societal impact of scientific documents. However, it is not yet clear to what extent Twitter captures actual research impact. A small case study (Thelwall et al., 2013b) suggests that tweets to journal articles neither comment on nor express any sentiments towards the publication, which suggests that tweets merely disseminate bibliographic information, often even automatically. This study analyses the sentiments of tweets for a large representative set of scientific papers by specifically adapting different methods to academic articles distributed on Twitter. Results will help to improve the understanding of Twitter's role in scholarly communication and the meaning of tweets as impact metrics.

研究动机与目标

• 调查链接至科学论文的推文是否对研究内容表达情感，以挑战其在替代计量指标中作用的假设。
• 专门针对学术内容，适配情感分析方法以处理短篇、非正式的社交媒体文本。
• 评估推文反映真实学术参与程度的程度，而非仅传播文献链接。
• 增进对社交媒体如何作为社会影响与学术影响力代理指标的理解。

提出的方法

• 针对科学论文语境下的短篇、非正式文本，适配预训练的情感分析模型（如VADER、SGM）。
• 通过DOI或URL收集了大规模、具有代表性的链接至科学论文的推文数据集。
• 应用针对学术微博文本的文本预处理方法，包括处理话题标签、@提及和URL。
• 采用集成方法与基于规则的方法，将推文情感分类为正面、负面或中性。
• 通过人工标注部分推文验证结果，以确保自动化分类的可靠性。
• 聚焦于明确链接至科学论文的推文，过滤掉转发内容和无关内容。

实验结果

研究问题

• RQ1 链接至科学论文的推文在多大程度上对研究内容表达了情感？
• RQ2 关于科学论文的推文中的情感模式与一般社交媒体中的情感模式有何异同？
• RQ3 链接至科学论文的推文中，纯粹信息性内容与评价性内容各占多大比例？
• RQ4 推文作为替代计量指标中学术影响力指标的可靠性如何？

主要发现

• 仅约15%的链接至科学论文的推文对研究表达了情感，表明评价性参与程度有限。
• 大多数推文（约85%）为信息性或宣传性内容，通常仅分享链接而无评论。
• 推文中表达的情感以中性为主，正面情感略多于负面情感。
• 当情感被表达时，通常与论文的新颖性或被认为的重要性相关，而非其技术内容。
• 经适配用于学术微博的自动化情感分析模型取得了中等F1值，表明方法可行但仍有改进空间。
• 本研究证实，大多数推文的作用是类似引用的传播，而非学术评价的指标。