[논문 리뷰] LL(1) Parsing with Derivatives and Zippers

Romain Edelmann, Jad Hamza외 1명|arXiv (Cornell University)|2019. 11. 28.

Logic, programming, and type systems참고 문헌 50인용 수 5

한 줄 요약

이 논문은 맥락 자유 표현의 도함수를 기반으로 하며, 지퍼 데이터 구조를 사용하여 최적화된 형식적으로 검증된 선형 시간 복잡도의 LL(1) 구문 분석 알고리즘을 제시한다. 이는 정적 LL(1) 검사, 열거, 그리고 예쁘게 출력하는 기능을 포함하는 효율적이고 정확한 구조적 구문 분석기 프레임워크를 가능하게 하며, LL(1) 문법에 대해 최적의 성능을 달성하면서도 기능적 순수성과 Coq에서의 형식적 검증을 유지한다.

ABSTRACT

In this paper, we present an efficient, functional, and formally verified parsing algorithm for LL(1) context-free expressions based on the concept of derivatives of formal languages. Parsing with derivatives is an elegant parsing technique, which, in the general case, suffers from cubic worst-case time complexity and slow performance in practice. We specialise the parsing with derivatives algorithm to LL(1) context-free expressions, where alternatives can be chosen given a single token of lookahead. We formalise the notion of LL(1) expressions and show how to efficiently check the LL(1) property. Next, we present a novel linear-time parsing with derivatives algorithm for LL(1) expressions operating on a zipper-inspired data structure. We prove the algorithm correct in Coq and present an implementation as a parser combinators framework in Scala, with enumeration and pretty printing capabilities.

연구 동기 및 목표

• 도함수 기반의 구문 분석 기법을 사용하여 LL(1) 맥락 자유 표현을 위한 형식적으로 검증된 효율적인 구문 분석 알고리즘을 개발하는 것.
• 일반적인 도함수 기반 구문 분석의 삼차 복잡도를 제거하기 위해 LL(1) 문법으로 특수화함으로써 복잡도를 최적화하는 것.
• 기능적 구문 분석기 조합 프레임워크에 정적 LL(1) 검사를 통합하여 컴파일 타임에 문법 설계 오류를 방지하는 것.
• 구문 분석 이외에도 열거 및 예쁘게 출력 기능을 통합된 검증된 프레임워크 내에서 지원하는 것.
• 지퍼 기반 데이터 구조를 사용하여 도함수 기반 구문 분석기에서 효율적인 상태 관리를 수행함으로써 선형 시간 성능을 달성하는 것.

제안 방법

• 저자들은 LL(1) 맥락 자유 표현을 형식화하고, 정적 분석을 위한 계산 가능한 성질—생산성, 공백 가능성, 첫 번째 집합, 뒤에 따라오면 안 되는 집합—을 정의한다.
• 그들은 청취 토큰 분석을 사용하여 LL(1) 표현에 특화된 도함수 기반의 새로운 선형 시간 구문 분석 알고리즘을 제안한다.
• 알고리즘은 구문 분석 컨텍스트를 효율적으로 관리하고 중복 계산을 방지하기 위해 지퍼 데이터 구조를 활용한다.
• 알고리즘의 정당성은 Coq에서 형식적으로 증명되며, 이 증명은 구현과 밀접하게 일치한다.
• 이 방법은 파싱, 열거, 그리고 예쁘게 출력을 지원하는 Scala 기반의 구문 분석기 조합 프레임워크인 Scallion에 통합된다.
• 이 방법은 오직 LL(1) 성질을 만족하는 문법만을 수락함으로써 모호성을 방지하고 효율적이며 예측 가능한 구문 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반적인 도함수 기반 구문 분석 기법을 LL(1) 문법에 대해 최적화하여 선형 시간 복잡도를 달성할 수 있는가?
• RQ2 기능적 구문 분석기 조합 프레임워크에서 LL(1) 성질을 정적으로 검사하고 강제로 적용할 수 있는가?
• RQ3 지퍼 기반 데이터 구조를 사용하여 도함수 기반 구문 분석기에서 효율적인 상태 관리를 수행하면서도 정당성과 성능을 유지할 수 있는가?
• RQ4 형식적으로 검증된 도함수 기반 LL(1) 구문 분석기를 완전 기능을 갖춘 기능적 프레임워크에 통합하여 열거 및 예쁘게 출력 기능까지 지원할 수 있는가?
• RQ5 기존의 재귀 하강 또는 PEG 기반의 구문 분석기 조합과 비교했을 때, 제안된 방법은 성능과 정당성 면에서 어떤가?

주요 결과

• 제안된 알고리즘은 LL(1) 구문 분석에 대해 최악의 경우 선형 시간 복잡도를 달성하여 일반적인 도함수 기반 구문 분석의 삼차 복잡도를 초월한다.
• Coq에서의 형식적 검증은 알고리즘의 정당성을 보장하며, 이 증명은 구현과 밀접하게 일치한다.
• 프레임워크는 구문 분석 외에도 열거 및 예쁘게 출력 기능을 지원하여 구문 분석기 조합 시스템의 유용성을 확장한다.
• 지퍼 데이터 구조의 사용은 효율적인 기능적 상태 관리를 가능하게 하여 재귀 하강 구문 분석에서 발생하는 성능 저하를 방지한다.
• 정적 LL(1) 검사 메커니즘은 컴파일 타임에 LL(1) 성질을 검증함으로써 문법 설계 오류를 방지한다.
• Scallion에서의 구현은 도함수 기반 구문 분석이 실세계 응용에 대해 효율적이고 실용적일 수 있음을 보여준다.