[论文解读] Solving puzzles described in English by automated translation to answer set programming and learning how to do that translation

Chitta Baral, Juraj Dzifcak|arXiv (Cornell University)|Aug 18, 2011

Natural Language Processing Techniques参考文献 9被引用 8

一句话总结

本文提出了一种系统，通过基于概率组合范畴语法（PCCG）的已学习λ-ASP-微积分框架，自动将简化的英语逻辑谜题翻译为答案集编程（ASP）规则。通过在谜题线索上进行训练，系统学习词语的含义及其对应的ASP翻译，实现了56%的谜题求解成功率——远高于预期的35%——证明了在组合谜题求解中实现有效自动推理与语言理解。

ABSTRACT

We present a system capable of automatically solving combinatorial logic puzzles given in (simplified) English. It involves translating the English descriptions of the puzzles into answer set programming(ASP) and using ASP solvers to provide solutions of the puzzles. To translate the descriptions, we use a lambda-calculus based approach using Probabilistic Combinatorial Categorial Grammars (PCCG) where the meanings of words are associated with parameters to be able to distinguish between multiple meanings of the same word. Meaning of many words and the parameters are learned. The puzzles are represented in ASP using an ontology which is applicable to a large set of logic puzzles.

研究动机与目标

• 开发一种自动化系统，将组合逻辑谜题的简化英语描述翻译为答案集编程（ASP）规则。
• 使系统能够从训练数据中学习词语含义及其对应的ASP表示，而非依赖手工编码的词典。
• 创建一个通用本体论，用于在ASP中表示各种逻辑谜题，支持在不同谜题类型中的广泛适用性。
• 评估系统通过从线索训练集及其正确的ASP翻译中学习，泛化到新谜题的能力。
• 研究在逻辑谜题求解中自动化语言理解与推理的极限，特别是处理语言歧义和罕见线索结构的能力。

提出的方法

• 系统使用概率组合范畴语法（PCCG）解析英语线索，并分配句法和语义结构。
• 每个词都关联多个表示可能含义的λ-ASP-微积分规则，通过参数选择最可能的解释进行翻译。
• 反向λ学习方法通过从训练数据中的已知示例泛化，推断未知词的λ-ASP-微积分规则。
• 参数学习通过概率优化最大化每个训练线索被正确翻译为对应ASP规则的可能性。
• 共享本体论将谜题领域（例如时间、属性、关系）映射为可重用的ASP结构，实现在不同谜题中的一致编码。
• 系统将学习到的词语含义与通用知识模块结合，生成完整的ASP程序，其唯一的答案集即为谜题的解。

实验结果

研究问题

• RQ1 系统是否能够在无需手动词典工程的情况下，学习将简化英语线索正确翻译为答案集编程（ASP）规则？
• RQ2 反向λ学习方法在有限训练数据下泛化词语含义的效率如何？
• RQ3 系统在面对训练期间未见过的新谜题和新颖线索结构时，其泛化能力达到何种程度？
• RQ4 哪些因素限制了系统正确翻译某些线索的能力，以及这些因素如何影响整体谜题求解性能？
• RQ5 是否可以通过统一的逻辑谜题本体论，实现对多样化谜题类型在ASP中的一致且可扩展的翻译？

主要发现

• 该系统在未见过的谜题上实现了56%的谜题求解成功率，显著超过预期的35%基线，表明其具备强大的泛化能力。
• 单个线索的翻译准确率平均达到83.3%，数据库领域为92%，Robocup领域为75–82%。
• 随着训练数据增多，性能有所提升，但在约83.3%处达到性能上限，表明在处理罕见或高度特定的线索结构方面存在固有局限。
• 主要失败模式是包含独特时间或关系表达的线索翻译错误或失败，例如“恰好在两天后”或“在彼此n天内播出”。
• 许多词语被赋予了平凡的语义（例如“立即”），导致过拟合并与其他更有意义的解释竞争，从而降低学习效率。
• 由于解析中多次嵌套应用@运算符，产生了高阶λ-ASP公式，增加了翻译复杂度和出错风险。