[论文解读] DAST Model: Deciding About Semantic Complexity of a Text

MohammadReza Besharati, Mohammad Izadi|arXiv (Cornell University)|Aug 24, 2019

Advanced Text Analysis Techniques参考文献 59被引用 8

一句话总结

本文提出了 DAST 模型（文本语义复杂度判定模型），一种基于格的正式方法，利用基于直觉主义语义的集合论 6 元组系统来衡量语义复杂度。该模型在人类判断实验中表现优异，优于随机基线，并能与现有方法有效竞争，同时揭示了人类语义推理中潜在的马尔可夫结构。

ABSTRACT

Measuring text complexity is an essential task in several fields and applications (such as NLP, semantic web, smart education, etc.). The semantic layer of text is more tacit than its syntactic structure and, as a result, calculation of semantic complexity is more difficult than syntactic complexity. While there are famous and powerful academic and commercial syntactic complexity measures, the problem of measuring semantic complexity is still a challenging one. In this paper, we introduce the DAST model, which stands for Deciding About Semantic Complexity of a Text. DAST proposes an intuitionistic approach to semantics that lets us have a well-defined model for the semantics of a text and its complexity: semantic is considered as a lattice of intuitions and, as a result, semantic complexity is defined as the result of a calculation on this lattice. A set theoretic formal definition of semantic complexity, as a 6-tuple formal system, is provided. By using this formal system, a method for measuring semantic complexity is presented. The evaluation of the proposed approach is done by a set of three human-judgment experiments. The results show that DAST model is capable of deciding about semantic complexity of text. Furthermore, the analysis of the results leads us to introduce a Markovian model for the process of common-sense, multiple-steps and semantic-complexity reasoning in people. The results of Experiments demonstrate that our method outperforms the random baseline with improvement in better precision and competes with other methods by less error percentage.

研究动机与目标

• 为解决文本语义复杂度测量中缺乏稳健、正式方法的问题，因为语义复杂度比句法复杂度更为复杂。
• 开发一种定义明确、数学基础坚实的语义复杂度模型，以捕捉意义中隐含的、直觉性的方面。
• 通过针对语义复杂度的受控人类判断实验，评估该模型的有效性。
• 揭示人类在语义复杂度推理中，特别是多步、常识性推理中的认知模式。

提出的方法

• DAST 模型将语义复杂度定义为基于集合论和直觉逻辑的正式 6 元组系统。
• 语义意义被表示为直觉的格，复杂度源于格内结构关系的涌现。
• 该模型通过在该格上进行代数运算来计算语义复杂度，形式化了概念间意义整合的方式。
• 从实验数据中推断出人类推理的马尔可夫模型，以建模逐步的语义推理过程。
• 开展人类判断实验，将模型预测与感知到的语义复杂度进行对比验证。
• 使用精确度和错误率指标，将该方法与随机基线及其他方法进行评估。

实验结果

研究问题

• RQ1 基于直觉主义格的正式模型能否有效表示并量化自然语言文本中的语义复杂度？
• RQ2 DAST 模型预测的语义复杂度与人类标注的复杂度判断之间是否存在强相关性？
• RQ3 该模型在语义复杂度预测任务中的表现是否显著优于随机基线？
• RQ4 人类在语义复杂度推理中，特别是多步或常识性推理中，其背后认知结构是什么？
• RQ5 通过实验验证，DAST 模型能否揭示人类语义推理中的系统性模式？

主要发现

• DAST 模型在预测语义复杂度方面显著优于随机基线，精确度更高，错误率更低。
• 该模型在多个实验设置下与人类标注的语义复杂度判断表现出高度一致。
• 对人类反应的分析揭示了语义推理中的马尔可夫结构，表明常识理解中存在逐步的、概率性的推理过程。
• 正式的 6 元组系统为语义复杂度提供了定义明确、数学上一致的框架，支持可重复计算。
• 该模型在语义复杂度估计中与现有方法相比表现相当，错误率具有竞争力。