[论文解读] Automatic annotation of multilingual text collections with a conceptual thesaurus

Bruno Pouliquen, Ralf Steinberger+1 more|ArXiv.org|Sep 12, 2006

Natural Language Processing Techniques参考文献 9被引用 79

一句话总结

本文提出一种基于统计关联的系统，用于自动为多语言文本集合标注来自多语言概念词典 EUROVOC 的描述符，实现跨语言文档索引与链接。该系统在人工标注的文本上进行训练，在人工评估中表现出色，证明其具备接近语言无关的标注能力，适用于语义网应用。

ABSTRACT

Automatic annotation of documents with controlled vocabulary terms (descriptors) from a conceptual thesaurus is not only useful for document indexing and retrieval. The mapping of texts onto the same thesaurus furthermore allows to establish links between similar documents. This is also a substantial requirement of the Semantic Web. This paper presents an almost language-independent system that maps documents written in different languages onto the same multilingual conceptual thesaurus, EUROVOC. Conceptual thesauri differ from Natural Language Thesauri in that they consist of relatively small controlled lists of words or phrases with a rather abstract meaning. To automatically identify which thesaurus descriptors describe the contents of a document best, we developed a statistical, associative system that is trained on texts that have previously been indexed manually. In addition to describing the large number of empirically optimised parameters of the fully functional application, we present the performance of the software according to a human evaluation by professional indexers.

研究动机与目标

• 实现使用共享概念词典对多语言文档进行自动跨语言标注。
• 通过将多种语言映射到统一语义框架，支持文档检索与链接。
• 开发一种最小化语言特异性调整的系统，接近实现语言独立性。
• 利用专业索引员提供的真人标注黄金标准，评估系统的性能。
• 为语义网背景下多语言文档标注提供一个完全优化且可重用的工具。

提出的方法

• 该系统使用在人工标注的多语言文档上训练的统计关联模型，预测新文本最相关的 EUROVOC 描述符。
• 它利用文档中词语与其分配的词典条目之间的共现模式，推断语义关联。
• 该方法应用语言无关的特征提取与归一化，以处理多种语言的输入。
• 通过大量经验调优的参数，优化以最大化在多种语言对上的标注准确率。
• 该系统将输入文本映射到由 EUROVOC 词典定义的共同概念空间，实现跨语言对齐。
• 性能通过专业索引员的人工判断进行评估，以验证自动标注的质量。

实验结果

研究问题

• RQ1 基于统计关联模型能否实现使用概念词典对多语言文档进行高精度自动标注？
• RQ2 此类系统在多大程度上可实现最小化语言特异性调优，接近语言独立性？
• RQ3 自动标注性能在多种语言上与人工索引标准的对齐程度如何？
• RQ4 经验调优的参数对系统标注准确率有何影响？
• RQ5 该系统能否有效支持语义网应用中的跨语言文档链接与索引？

主要发现

• 在人工评估中，系统表现优异，其标注质量接近专业索引员水平。
• 统计关联模型在语言间有效泛化，表现出接近语言独立的特性。
• 经验调优的参数显著提升了在多语言文本集合中描述符预测的准确性。
• 该系统成功将不同语言的文档映射到同一概念词典，实现了跨语言文档链接。
• 该方法被验证为适用于需要多语言索引与检索的语义网应用。
• 该方法为使用受控词汇对多语言文本集合进行自动标注提供了可扩展且可重用的解决方案。