[论文解读] Measuring semantic complexity

Wlodek Zadrozny|ArXiv.org|May 8, 1995

Natural Language Processing Techniques参考文献 21被引用 3

一句话总结

本文提出了一种使用'语义自动机'（meaning automata）进行语义复杂性度量的正式框架——即建模语义理解的有限状态机。该方法被应用于评估自然语言理解系统中的复杂性，表明复杂行为可由语义上简单的组件构建而成，从而实现对NLP系统在实现前的复杂性预估。

ABSTRACT

We define {\em semantic complexity} using a new concept of {\em meaning automata}. We measure the semantic complexity of understanding of prepositional phrases, of an "in depth understanding system", and of a natural language interface to an on-line calendar. We argue that it is possible to measure some semantic complexities of natural language processing systems before building them, and that systems that exhibit relatively complex behavior can be built from semantically simple components.

研究动机与目标

• 为自然语言理解中的语义复杂性定义一种正式且可度量的概念。
• 开发一种在实现前估算NLP系统语义复杂性的方法。
• 证明复杂语义行为可由语义上简单的组件构建而成。
• 将该框架应用于实际系统，包括日历接口和深度理解系统。
• 为评估和比较语义处理系统提供理论基础。

提出的方法

• 引入'语义自动机'作为语义理解的正式模型，其中状态代表语义状态，转移代表意义变化。
• 使用自动机表示自然语言处理组件（如介词短语理解）的语义行为。
• 将语义复杂性定义为语义自动机中的状态数和转移数，反映系统的表征复杂性。
• 将该框架应用于分析在线日历系统的自然语言接口，将其语义行为分解为自动机组件。
• 采用形式化的基于状态的表示，量化理解复杂性，超越句法或词汇分析。
• 提出复杂性可独立于实现进行度量，从而支持系统设计的早期评估。

实验结果

研究问题

• RQ1 是否可以在实现前对自然语言理解系统中的语义复杂性进行形式化度量？
• RQ2 如何使用语义自动机来建模并量化NLP系统中语义理解的复杂性？
• RQ3 在多大程度上可由更简单的语义组件构建复杂语义行为？
• RQ4 在线日历系统自然语言接口的语义复杂性是多少？
• RQ5 能否使用基于自动机的模型对介词短语理解的复杂性进行形式化评估？

主要发现

• 语义复杂性可使用语义自动机进行形式化度量，复杂性由自动机中的状态数和转移数定义。
• 该框架支持在实现前估算语义复杂性，有助于NLP系统早期设计评估。
• 自然语言理解中的复杂行为（如日历接口中的行为）可被分解为语义上简单的组件。
• 研究表明，即使单个组件复杂性较低，仍可构建出高语义复杂性的系统，表明其具有组合可扩展性。
• 该方法为比较语义处理系统提供了形式化、量化的基础，超越句法或词汇度量。
• 该方法在真实系统上得到验证，包括介词短语理解和自然语言日历接口，显示出可测量的复杂性差异。