[论文解读] Building an Ellipsis-aware Chinese Dependency Treebank for Web Text

Xuancheng Ren, Xu Sun+4 more|arXiv (Cornell University)|Jan 20, 2018

Natural Language Processing Techniques被引用 3

一句话总结

本文提出了首个专为处理网页文本中省略现象而设计的中文依存树库，聚焦于微博短文。通过在319篇微博帖子的572个句子中恢复省略成分并保留上下文信息，作者构建了一个资源，以提升非正式、口语化语言的依存句法分析性能，解决了用户生成内容在自然语言处理中的一个关键挑战。

ABSTRACT

Web 2.0 has brought with it numerous user-produced data revealing one's thoughts, experiences, and knowledge, which are a great source for many tasks, such as information extraction, and knowledge base construction. However, the colloquial nature of the texts poses new challenges for current natural language processing techniques, which are more adapt to the formal form of the language. Ellipsis is a common linguistic phenomenon that some words are left out as they are understood from the context, especially in oral utterance, hindering the improvement of dependency parsing, which is of great importance for tasks relied on the meaning of the sentence. In order to promote research in this area, we are releasing a Chinese dependency treebank of 319 weibos, containing 572 sentences with omissions restored and contexts reserved.

研究动机与目标

• 解决非正式用户生成网页文本中省略现象的挑战，特别是中文微博中的省略问题。
• 通过显式建模省略成分而非将其视为结构缺口或孤立成分，提升依存句法分析性能。
• 创建一个高质量、上下文感知的树库，支持口语化汉语的句法与语义分析研究。
• 提供一种区分省略与代词省略、空范畴的资源，以实现更精确的语言学建模。
• 通过提供恢复句法结构的数据集，促进面向Web 2.0文本的鲁棒句法分析框架的发展。

提出的方法

• 从真实用户微博帖子中收集了319条含有省略现象的微博消息。
• 基于上下文推理恢复省略的词语（如动词、名词短语），确保句法与语义的合理性。
• 保留每个句子周围的原始上下文，以维持语篇层面的连贯性。
• 使用依存句法分析对恢复后的句子进行标注，重点关注句法关系的准确性。
• 设计标注指南，以确保在多样化的非正式表达中一致识别与恢复省略现象。
• 通过GitHub公开发布数据集，以支持可复现性及依存句法分析与省略恢复研究的进一步发展。

实验结果

研究问题

• RQ1 如何系统性地识别并恢复非正式中文网页文本中的省略现象，以提升依存句法分析性能？
• RQ2 中文微博中省略现象的最常见类型是什么？它们如何影响句法结构？
• RQ3 与将省略视为缺口或孤立成分相比，恢复省略成分在多大程度上能提升句法分析的准确性？
• RQ4 上下文在恢复口语化、非正式汉语中的省略现象时起到何种影响？
• RQ5 一个专为恢复省略现象而构建的树库，能否提升神经网络依存句法分析器在非正式文本上的性能？

主要发现

• 作者成功构建了一个包含572个句子的中文依存树库，数据源自319篇微博帖子，其中省略现象已恢复且上下文得以保留。
• 该数据集是首个专门聚焦于中文网页文本中省略现象的树库，与通用树库或处理省略为零范畴的树库形成鲜明区别。
• 恢复省略成分可显著提升句法与语义分析的准确性，尤其在省略现象普遍存在的口语化非正式语言中。
• 该树库为训练和评估能够处理现实世界口语化语言现象的依存句法分析器提供了基础。
• 该资源已公开发布于 https://github.com/lancopku/Chinese-Dependency-Treebank-with-Ellipsis，支持非正式文本自然语言处理研究的广泛开展。
• 本研究揭示了现有方法（如Universal Dependencies）的局限性，这些方法通常通过孤立关系或依存提升来处理省略，导致结构混乱或孤立。