[论文解读] Don't Panic! Better, Fewer, Syntax Errors for LR Parsers

Lukas Diekmann, Laurence Tratt|arXiv (Cornell University)|Apr 19, 2018

Software Engineering Research被引用 3

一句话总结

本文提出 CPCT+，一种新型的 LR 解析器错误恢复算法，可报告语法错误的完整最小成本修复序列集合，显著减少级联错误。在 200,000 个真实世界 Java 文件上评估，CPCT+ 在 0.5 秒内修复了 98.37% 的错误，并将报告的错误位置从 981,628 个（恐慌模式）减少至 435,812 个，为开发者提供可操作的、意图感知的修复选项。

ABSTRACT

Syntax errors are generally easy to fix for humans, but not for parsers in general nor LR parsers in particular. Traditional 'panic mode' error recovery, though easy to implement and applicable to any grammar, often leads to a cascading chain of errors that drown out the original. More advanced error recovery techniques suffer less from this problem but have seen little practical use because their typical performance was seen as poor, their worst case unbounded, and the repairs they reported arbitrary. In this paper we introduce the CPCT+ algorithm, and an implementation of that algorithm, that address these issues. First, CPCT+ reports the complete set of minimum cost repair sequences for a given location, allowing programmers to select the one that best fits their intention. Second, on a corpus of 200,000 real-world syntactically invalid Java programs, CPCT+ is able to repair 98.37% of files within a timeout of 0.5s. Finally, CPCT+ uses the complete set of minimum cost repair sequences to reduce the cascading error problem, where incorrect error recovery causes further spurious syntax errors to be identified. Across the test corpus, CPCT+ reports 435,812 error locations to the user, reducing the cascading error problem substantially relative to the 981,628 error locations reported by panic mode.

研究动机与目标

• 为解决 LR 解析器中的级联错误问题，即初始错误恢复引发多个虚假错误。
• 为给定错误位置向开发者提供所有最小成本修复序列，而非单一任意修复方案。
• 通过结合高性能与语法无关、确定性的修复建议，提升高级错误恢复的实际可用性。
• 减少编译器和 IDE 中对启发式或临时性错误恢复机制的依赖。

提出的方法

• CPCT+ 扩展了 Fischer 等人提出的错误恢复算法家族，通过动态规划计算完整的最小成本修复序列集合，并结合语法感知的标记插入/删除操作。
• 它使用修改后的 LR 解析引擎，可并行跟踪多个解析状态和修复方案，受一个偏好最小更改的代价模型引导。
• 该算法利用完整语法制导，在每个错误位置探索所有可能的最小成本修复（插入、删除），避免任意或次优选择。
• 它集成了超时机制以确保实际性能，通过启发式方法优先处理可能的修复方案并剪枝搜索空间。
• 该实现已集成至 grmtools 解析框架中，并通过 nimbleparse 工具对外暴露，以支持实际应用。
• 通过仅依赖输入语法制导和输入流，该算法支持多种语言（Java、Lua、PHP），具备语法无关性。

实验结果

研究问题

• RQ1 一种语法无关的错误恢复算法能否报告给定错误位置的所有最小成本修复序列，使开发者能够选择最符合语义的修复方案？
• RQ2 与传统恐慌模式恢复相比，报告多个修复选项是否能显著减少级联错误数量？
• RQ3 此类算法是否能在真实世界复杂程序上实现高性能（每文件低于 0.5 秒），同时保持正确性和完备性？
• RQ4 在实际中，计算并返回所有最小修复序列是否在计算上可行，尤其是针对大型程序？

主要发现

• CPCT+ 在 0.5 秒超时内成功修复了 200,000 个真实世界中语法无效的 Java 程序中的 98.37% ± 0.017%。
• 该算法将报告的错误位置数从恐慌模式下的 981,628 个减少至 435,812 个，显著缓解了级联错误问题。
• 对于每个错误，CPCT+ 均报告所有最小成本修复序列——例如删除一个标记、插入逗号或插入赋值操作符——使开发者能够选择最符合语义的修复方案。
• 该方法具有实际可行性和可扩展性，其性能特征适合集成到编译器和 IDE 中。
• 该算法具备语法无关性，适用于多种语言（Java、Lua、PHP），展现出广泛的适用性。
• 在高歧义或修复成本过高的情况下，CPCT+ 正确地触发超时并报告无修复序列，避免产生误导性建议。