[논문 리뷰] Don't Panic! Better, Fewer, Syntax Errors for LR Parsers

Lukas Diekmann, Laurence Tratt|arXiv (Cornell University)|2018. 04. 19.

Software Engineering Research인용 수 3

한 줄 요약

이 논문은 문법 오류에 대해 최소 비용 복구 시퀀스의 완전한 집합을 보고함으로써 체인 오류를 크게 줄이는 새로운 오류 복구 알고리즘인 CPCT+를 소개한다. 200,000개의 실제 Java 파일에서 평가한 결과, CPCT+는 0.5초 이내에 98.37%의 오류를 복구했으며, 오류 위치 수를 패닉 모드의 981,628개에서 435,812개로 감소시켰다. 이는 개발자가 의도를 고려한 실질적인 복구 옵션을 선택할 수 있도록 한다.

ABSTRACT

Syntax errors are generally easy to fix for humans, but not for parsers in general nor LR parsers in particular. Traditional 'panic mode' error recovery, though easy to implement and applicable to any grammar, often leads to a cascading chain of errors that drown out the original. More advanced error recovery techniques suffer less from this problem but have seen little practical use because their typical performance was seen as poor, their worst case unbounded, and the repairs they reported arbitrary. In this paper we introduce the CPCT+ algorithm, and an implementation of that algorithm, that address these issues. First, CPCT+ reports the complete set of minimum cost repair sequences for a given location, allowing programmers to select the one that best fits their intention. Second, on a corpus of 200,000 real-world syntactically invalid Java programs, CPCT+ is able to repair 98.37% of files within a timeout of 0.5s. Finally, CPCT+ uses the complete set of minimum cost repair sequences to reduce the cascading error problem, where incorrect error recovery causes further spurious syntax errors to be identified. Across the test corpus, CPCT+ reports 435,812 error locations to the user, reducing the cascading error problem substantially relative to the 981,628 error locations reported by panic mode.

연구 동기 및 목표

• LR 파서에서 초기 오류 복구로 인해 발생하는 체인 오류 문제를 해결하기 위해.
• 단일 임의의 복구 방법이 아닌, 주어진 오류 위치에 대해 모든 최소 비용 복구 시퀀스를 개발자에게 제공하기 위해.
• 고성능과 어휘 구문 무관성, 결정론적 복구 제안을 조합함으로써 고급 오류 복구의 실용적 사용성을 향상시키기 위해.
• 컴파일러와 IDE에서 히ュ리스틱 또는 특수 목적 오류 복구 메커니즘에 대한 의존도를 줄이기 위해.

제안 방법

• CPCT+는 동적 프로그래밍과 문법 인식 토큰 삽입/삭제 연산을 사용하여 최소 비용 복구 시퀀스의 완전한 집합을 계산함으로써 Fischer 등이 제안한 오류 복구 알고리즘 가족을 확장한다.
• 비용 모델에 따라 최소한의 변경을 선호하는 방식으로, 복수의 파싱 상태와 복구 작업을 동시에 추적하는 수정된 LR 파싱 엔진을 사용한다.
• 알고리즘은 각 오류 위치에서 가능한 모든 최소 비용 복구(삽입, 삭제)를 탐색하기 위해 전체 문법을 활용하며, 임의적이거나 최적화되지 않은 선택을 피한다.
• 실용적인 성능을 확보하기 위해 타임아웃 메커니즘을 통합하고, 유망한 복구를 우선순위로 정하고 검색 공간을 줄이기 위한 히ュ리스틱을 적용한다.
• 구현은 grmtools 파서 프레임워크에 통합되었으며, 실용적 사용을 위해 nimbleparse 도구를 통해 노출된다.
• 입력 문법과 입력 스트림에만 의존하므로, 문법에 무관한 방식으로 Java, Lua, PHP 등 여러 언어를 지원한다.

실험 결과

연구 질문

• RQ1 문법에 무관한 오류 복구 알고리즘이 주어진 오류 위치에 대해 모든 최소 비용 복구 시퀀스를 보고할 수 있는가? 이를 통해 개발자는 가장 의미적으로 적절한 수정을 선택할 수 있는가?
• RQ2 기존의 패닉 모드 복구 방식과 비교해 복구 옵션을 다수 보고할 경우 체인 오류 수가 상당히 감소하는가?
• RQ3 실제로 복잡한 프로그램에서 높은 성능(파일당 0.5초 이내)을 달성하면서도 정확성과 완전성을 유지할 수 있는가?
• RQ4 특히 대규모 프로그램에서 최소 복구의 완전한 집합을 실질적으로 계산하고 반환하는 것이 계산적으로 가능한가?

주요 결과

• CPCT+는 200,000개의 실제 문법적으로 잘못된 Java 프로그램 중 98.37% ± 0.017%를 0.5초 타임아웃 내에 성공적으로 복구했다.
• 알고리즘은 패닉 모드에서의 오류 위치 수 981,628개에서 435,812개로 감소시켜 체인 오류 문제를 상당히 완화시켰다.
• 각 오류에 대해 CPCT+는 모든 최소 비용 복구 시퀀스를 보고한다 — 예를 들어 토큰 삭제, 쉼표 삽입, 할당 연산자 삽입 등으로, 개발자가 가장 의미적으로 적절한 수정을 선택할 수 있다.
• 이 방법은 실용적이고 확장 가능하며, 컴파일러와 IDE에 통합하기에 적합한 성능 프로파일을 보인다.
• 알고리즘은 문법에 무관하며 Java, Lua, PHP 등 여러 언어에서 작동하여 광범위한 적용 가능성을 입증했다.
• 고도의 모호성 또는 과도한 복구 비용이 발생하는 경우, CPCT+는 정확하게 타임아웃을 발생시키고 복구 시퀀스를 보고하지 않아 잘못된 제안을 피한다.