[论文解读] Evaluating Parsing Schemes with Entropy Indicators

Caroline Lyon, Stephen C. Brown|ArXiv.org|Sep 22, 1997

Natural Language Processing Techniques参考文献 6被引用 4

一句话总结

本文提出一种基于熵的度量方法，通过衡量语言序列中的结构简化程度，客观评估解析方案。通过在乔姆斯基层级中更高层次建模自然语言，并比较解析前后句子的熵值，结果表明解析形式中熵值降低，说明成功捕获了结构特征，支持自顶向下的分割方法和谓词-论元结构的提取。

ABSTRACT

This paper introduces an objective metric for evaluating a parsing scheme. It is based on Shannon's original work with letter sequences, which can be extended to part-of-speech tag sequences. It is shown that this regular language is an inadequate model for natural language, but a representation is used that models language slightly higher in the Chomsky hierarchy. We show how the entropy of parsed and unparsed sentences can be measured. If the entropy of the parsed sentence is lower, this indicates that some of the structure of the language has been captured. We apply this entropy indicator to support one particular parsing scheme that effects a top down segmentation. This approach could be used to decompose the parsing task into computationally more tractable subtasks. It also lends itself to the extraction of predicate/argument structure.

研究动机与目标

• 开发一种客观的、基于信息论的度量方法，用于评估自然语言处理中的解析方案。
• 将香农熵框架从字母序列扩展到词性标注序列及更高级别的语言结构。
• 评估解析是否降低了不确定性（熵），以判断是否成功实现结构建模。
• 使用熵作为定量指标，评估自顶向下分割解析方案的有效性。
• 探索熵指标在从解析句子中提取谓词-论元结构方面的实用性。

提出的方法

• 将香农信息熵适配于度量词性标注序列中的不确定性。
• 最初将自然语言建模为正则语言，随后扩展至乔姆斯基层级中更高阶的复杂表示。
• 计算未解析句子（原始序列）与解析句子（结构化序列）的熵值。
• 将熵的减少作为结构捕获的指标：解析形式中熵值越低，表示解析效果越好。
• 将熵度量应用于评估自顶向下分割解析方案。
• 利用熵指标将解析任务分解为可处理的子任务，并支持谓词-论元结构的提取。

实验结果

研究问题

• RQ1 熵能否作为客观、可量化的度量指标，用于评估解析方案在捕获语言结构方面的有效性？
• RQ2 解析句子的熵与未解析句子的熵相比如何，这对结构建模意味着什么？
• RQ3 自顶向下分割解析方案在多大程度上降低了熵，表明实现了成功的结构捕获？
• RQ4 熵指标能否用于将复杂的解析任务分解为计算上更易处理的子任务？
• RQ5 熵度量是否支持从解析句子中提取谓词-论元结构？

主要发现

• 解析句子的熵值始终低于未解析句子，表明成功捕获了语言结构。
• 所提出的熵指标能有效区分不同解析方案，偏好那些能降低序列表示不确定性的方案。
• 自顶向下分割解析方案表现出可测量的熵减少，支持其在自然语言结构化中的应用。
• 该方法通过熵识别结构简化，使解析可分解为可处理的子任务。
• 熵度量通过突出有意义的句法组织，支持谓词-论元结构的提取。
• 该方法将香农原始熵框架扩展至超越正则语言的更高级语言表示。