[论文解读] Learning Language from a Large (Unannotated) Corpus

Linas Vepštas, Ben Goertzel|arXiv (Cornell University)|Jan 14, 2014

Natural Language Processing Techniques参考文献 23被引用 6

一句话总结

本文提出了一种新颖的无监督学习框架，用于从大规模未标注文本语料库中自动归纳依存语法和句法到语义的映射。通过迭代识别词语共现相关性、使用基于熵的准则对语义相似的词语进行聚类，并逐步构建分层的句法和语义图，该方法实现了无需人工标注数据的端到端语言习得，其关键贡献在于通过句法与语义层之间的相互增强，实现自举式语法与语义学习。

ABSTRACT

A novel approach to the fully automated, unsupervised extraction of dependency grammars and associated syntax-to-semantic-relationship mappings from large text corpora is described. The suggested approach builds on the authors' prior work with the Link Grammar, RelEx and OpenCog systems, as well as on a number of prior papers and approaches from the statistical language learning literature. If successful, this approach would enable the mining of all the information needed to power a natural language comprehension and generation system, directly from a large, unannotated corpus.

研究动机与目标

• 开发一种完全无监督的方法，从未标注的大规模文本语料库中归纳依存语法规则和句法到语义的映射。
• 通过消除对专家标注的语言学数据的依赖，克服基于规则和监督方法的局限性。
• 通过语言抽象层次之间的相互增强，实现自动获取句法结构与语义内容。
• 证明从原始文本中进行大规模、增量式学习可以生成连贯的、分层的语言表征，包括词语聚类、连接类型和语义图。
• 提供一个理论基础扎实、可扩展的语言学习框架，通过反馈驱动的循环整合句法与语义归纳。

提出的方法

• 该方法首先将词语视为‘事物’，通过测量词语对之间的互信息来识别具有统计显著性的共现关系。
• 使用熵最小化原则对词语进行聚类：仅当聚类能降低语料中词语对关系的总熵时，才形成聚类。
• 将新的‘事物’定义为词语聚类，该过程迭代进行，使更高级别的抽象（如语义类别）从低级模式中自然涌现。
• 通过词语对关系中的重复模式识别句法连接类型（如主语、宾语），并用于优化词语聚类和语义图。
• 从词语聚类和连接类型构建语义图，将常见的图结构抽象为可重用的语义类别。
• 学习循环在句法和语义阶段之间交替进行，语义洞察指导句法聚类，反之亦然，从而实现相互增强。

实验结果

研究问题

• RQ1 能否仅通过统计相关性和基于熵的聚类，从未标注文本中归纳出依存语法？
• RQ2 语义关系是否能无需显式监督，从句法模式中自然涌现？
• RQ3 在无监督语言习得过程中，句法与语义学习在反馈循环中相互增强的程度如何？
• RQ4 通过从原始文本中迭代式、增量式学习，是否可行构建分层语言结构（如词语类别、语义类别）？
• RQ5 所提出的方法是否能在无需人工标注数据的情况下，达到与人类习得的语法和语义相当的语言抽象水平？

主要发现

• 该框架能够从未标注的大规模语料库中直接无监督地归纳出依存语法和句法到语义的映射，消除了对人工标注训练数据的依赖。
• 熵最小化为基于共现模式和互信息将词语聚类为语义一致类别的方法提供了理论依据。
• 句法与语义学习之间的迭代循环使得更高级别的抽象（如语义类别）能够指导低级别聚类，反之亦然，从而提升整体模型的一致性。
• 该方法支持紧凑且可重用的语义图的生成——例如，通过识别基于聚类的共享结构，将多个句子统一表示为共同的语义模板。
• 该方法具有可扩展性和模块化特性，初步实现工作已在OpenCog代码库中开展，尤其集中在nlp/learn目录下。
• 尽管未报告全规模的定量基准测试，但作者认为其理论和算法基础已足够成熟，可支持原型开发，且完全功能化的系统可能需要数人年的的开发工作。