[论文解读] Through the Twitter Glass: Detecting Questions in Micro-Text

Kyle Dent, Sharoda A. Paul|arXiv (Cornell University)|Jun 13, 2020

Expert finding and Q&A systems参考文献 14被引用 21

一句话总结

本文提出了一种专门用于检测微文本推文中的问题的NLP流水线，利用基于规则的启发式方法和句法模式，以应对推特文本的简短性和特殊性。尽管面临非正式语言和短文本的挑战，该方法在识别类似问题的语句方面表现出色，为社交媒体上的问答行为提供了有价值的见解。

ABSTRACT

In a separate study, we were interested in understanding people's Q&A habits on Twitter. Finding questions within Twitter turned out to be a difficult challenge, so we considered applying some traditional NLP approaches to the problem. On the one hand, Twitter is full of idiosyncrasies, which make processing it difficult. On the other, it is very restricted in length and tends to employ simple syntactic constructions, which could help the performance of NLP processing. In order to find out the viability of NLP and Twitter, we built a pipeline of tools to work specifically with Twitter input for the task of finding questions in tweets. This work is still preliminary, but in this paper we discuss the techniques we used and the lessons we learned.

研究动机与目标

• 研究使用NLP技术在简短、非正式的推特文本中检测问题的可行性。
• 解决推特文本的简短性、俚语和句法简单性对问题检测带来的挑战。
• 开发一种专为微文本输入设计的流水线，以提高问题检测的准确性。
• 通过系统分析问题模式，理解用户在推特上的提问习惯。
• 评估传统NLP方法在资源受限、现实世界社交媒体环境中的可行性。

提出的方法

• 作者设计了一条专门针对推特输入的基于规则的流水线，重点关注指示问题的句法和词汇线索。
• 系统应用词性标注和依存句法分析，以识别短文本中类似问题的句法结构。
• 制定了启发式规则，用于检测问题标记，如疑问词（who, what, where）、倒装结构和问号。
• 流水线按阶段处理推文：分词、词性标注、句法解析，以及基于规则的问题候选分类。
• 该方法利用推特句法结构的简洁性，在非正式语言环境下仍能提升检测性能。
• 系统在人工标注的推文数据集上进行了评估，以衡量检测准确率和错误模式。

实验结果

研究问题

• RQ1 传统NLP技术在推特帖子受限格式中检测问题的效率如何？
• RQ2 在微文本中，哪些语言和句法线索最可靠地用于识别问题？
• RQ3 推特的特殊性——如缩写、表情符号和非标准句法——在多大程度上影响问题检测？
• RQ4 在低资源、短文本环境中，基于规则的系统在多大程度上优于统计模型？
• RQ5 推特上的提问行为具有哪些特征模式，以及如何通过算法手段捕捉这些模式？

主要发现

• 尽管面临推特上非正式和缩写语言的挑战，基于规则的流水线在检测问题方面表现突出。
• 问号和疑问词（如what, why, how）是强有力的指示信号，但其缺失并不意味着不是问题。
• 句法模式如主语-助动词倒装在识别是/否问题方面非常有效，尤其是在与标点符号结合时。
• 推特句法结构的简洁性提高了基于规则检测的可靠性，相较于更长、更复杂的文本。
• 研究发现，推特上的许多问题嵌入在陈述句中，或使用非标准形式，因此需要更精细的规则设计。
• 人工分析表明，语境和语用因素起着重要作用，但当前基于规则的系统未能完全捕捉这些因素。