[论文解读] MAXIMUM LIKELIHOOD AND MINIMUM ENTROPY IDENTIFICATION OF GRAMMARS

Pierre Collet, Antonio Galves+1 more|ArXiv.org|Apr 13, 1995

Neural Networks and Applications被引用 7

一句话总结

本文提出一种基于热力学形式化的吉布斯模型，仅通过正向证据识别正则语法，结合最大似然与最小熵原则。该模型将语言习得建模为由语调线索驱动的随机过程，提供一种稳健且有理论依据的替代方案，避免使用伯威克的子集原则等临时约束，并在收敛性和稳定性方面提供理论保证。

ABSTRACT

Using the Thermodynamic Formalism, we introduce a Gibbsian model for the identification of regular grammars based only on positive evidence. This model mimics the natural language acquisition procedure driven by prosody which is here represented by the thermodynamical potential. The statistical question we face is how to estimate the incidenc e matrix of a subshift of finite type from a sample produced by a Gibbs state whose potential is known. The model acquaints for both the robustness of t he language acquisition procedure and language changes. The probabilistic appr oach we use avoids invoking ad-hoc restrictions as Berwick's Subset Principle.

研究动机与目标

• 开发一种基于原理的、概率化的框架，仅从正向证据中识别正则语法，避免使用临时约束。
• 将自然语言习得过程建模为一种由语调线索驱动的随机、热力学启发的程序。
• 在不同数据条件与语言变化下，确保语法识别的鲁棒性与稳定性。
• 将识别问题形式化为：从吉布斯分布样本中估计有限型子移位的关联矩阵。
• 为语言习得提供理论基础，与认知与语言学观察一致，且不依赖于如伯威克的子集原则等限制性原则。

提出的方法

• 使用热力学形式化在正则语法生成的字符串上定义吉布斯测度。
• 将语调建模为影响字符串序列可能性的热力学势。
• 应用最大似然估计，从未观测数据中推断有限型子移位的关联矩阵。
• 施加最小熵约束，以在不确定性下偏好更简单、更稳定的语法。
• 将语法识别问题视为在已知势的吉布斯模型下的统计推断任务。
• 采用有限型子移位理论表示正则语法中有效字符串的集合。

实验结果

研究问题

• RQ1 如何仅通过有原则的概率框架，从正向证据中识别正则语法？
• RQ2 语调线索（建模为热力学势）在多大程度上能引导语法结构的识别？
• RQ3 最小熵与最大似然估计能否共同确保语法学习的鲁棒性与收敛性？
• RQ4 所提出的模型如何避免对伯威克的子集原则等临时约束的依赖？
• RQ5 在数据变化与语言演变下，学习过程的理论稳定性如何？

主要发现

• 在已知势的条件下，该模型能成功从吉布斯态生成的样本中识别出有限型子移位的关联矩阵。
• 最小熵的使用确保了在数据有限或存在噪声时，推断出的语法仍保持简单与稳定。
• 该框架自然地将语调线索作为热力学势纳入，与观察到的语言习得模式一致。
• 通过有原则的统计推断，该方法避免了对如伯威克的子集原则等限制性临时约束的依赖。
• 理论分析证实了该学习过程在数据变化与语言演变下的鲁棒性。
• 该方法提供了一个统一的框架，通过统计力学原理建模语言习得与语言演化。