[논문 리뷰] Packrat Parsing: Simple, Powerful, Lazy, Linear Time

Bryan Ford|ArXiv.org|2006. 03. 18.

Natural Language Processing Techniques참고 문헌 19인용 수 84

한 줄 요약

이 논문은 백트래킹 재귀 하강 파싱의 단순성과 표현력을 유지하면서도 메모이제이션을 통해 선형 시간 복잡도를 보장하는 패킷레이트 파싱 기법을 소개한다. 중간 파싱 결과를 저장하고 각 결과를 한 번만 계산함으로써, 패킷레이트 파싱은 무한한 룩어헤드, 복잡한 불명확성 제거, 그리고 어휘 분석과 문법 분석의 원활한 통합을 가능하게 하여 현대의 함수형 프로그래밍 언어인 하스켈과 같은 언어에 매우 적합하다.

ABSTRACT

Packrat parsing is a novel technique for implementing parsers in a lazy functional programming language. A packrat parser provides the power and flexibility of top-down parsing with backtracking and unlimited lookahead, but nevertheless guarantees linear parse time. Any language defined by an LL(k) or LR(k) grammar can be recognized by a packrat parser, in addition to many languages that conventional linear-time algorithms do not support. This additional power simplifies the handling of common syntactic idioms such as the widespread but troublesome longest-match rule, enables the use of sophisticated disambiguation strategies such as syntactic and semantic predicates, provides better grammar composition properties, and allows lexical analysis to be integrated seamlessly into parsing. Yet despite its power, packrat parsing shares the same simplicity and elegance as recursive descent parsing; in fact converting a backtracking recursive descent parser into a linear-time packrat parser often involves only a fairly straightforward structural change. This paper describes packrat parsing informally with emphasis on its use in practical applications, and explores its advantages and disadvantages with respect to the more conventional alternatives.

연구 동기 및 목표

• 기존의 백트래킹 파서가 유연성은 갖추고 있지만 지수 시간 복잡도 문제를 겪을 수 있다는 성능 한계를 해결하기 위해.
• 표현력은 유지하면서도 선형 시간 성능을 보장하는 실용적이고 효율적인 파싱 솔루션을 제공하기 위해.
• 어휘 분석과 문법 분석을 별도의 스캐너 단계 없이 원활하게 통합하기 위해.
• 가장 긴 매칭 불명확성 제거, 문법 조건, 확장 가능한 문법 조합과 같은 고급 파싱 기능을 지원하기 위해.
• 지난해 이론적으로만 존재했던 선형 시간 복잡도 파싱 알고리즘을 레이지 함수형 언어에서의 메모이제이션을 통해 실용적이고 효율적인 것으로 만들 수 있음을 보여주기 위해.

제안 방법

• 핵심 기법은 모든 중간 파싱 결과를 메모이제이션하여 각 결과가 최대 한 번만 계산되도록 하는 것으로, 이는 백트래킹 파서의 지수 시간 증가를 방지한다.
• 함수형 언어에서의 비엄격(레이지) 평가를 사용하여 파싱 결과를 지연 계산이 가능한 재귀적 데이터 구조로 표현한다.
• 파싱 함수는 재귀적으로 정의되며, 언어 수준의 기능을 통해 자동으로 메모이제이션되며, 명시적인 해시 테이블이나 검색 구조가 필요로 하지 않는다.
• 파서는 전체 입력 스트림을 사전에 처리하며, 전체 입력에 대한 랜덤 액세스를 가정함으로써 전체 룩어헤드 기능과 일관된 선형 시간 행동을 보장한다.
• 확장 기능으로는 문법 변환을 통한 왼쪽 재귀 지원, 측면 효과를 위한 모나드 파싱, 메인 문법에 어휘 규칙 통합이 포함된다.
• 이 접근법은 하스켈에서 실제로 구현되었으며, 파서 조합자와 고계 함수를 활용하여 모듈화되고 조합 가능한 파서를 구축한다.

실험 결과

연구 질문

• RQ1 백트래킹 파싱을 표현력이나 예측 룩어헤드의 필요 없이 효율적으로 만들 수 있는가?
• RQ2 레이지 함수형 언어에서의 메모이제이션은 기존의 재귀 하강 파서가 지닌 지수 시간 복잡도 문제를 어느 정도 제거할 수 있는가?
• RQ3 어휘 분석과 문법 분석을 단일한 효율적이고 조합 가능한 파싱 프레임워크로 통합할 수 있는가?
• RQ4 패킷레이트 파싱은 LR(k) 및 NSLR(1)와 같은 전통적인 선형 시간 알고리즘과 비교해 복잡성과 효율성 면에서 어떤가?
• RQ5 패킷레이트 파싱은 특히 확장 가능하거나 상호작용적인 시스템에서 언어 설계에 어떤 실용적 영향을 미치는가?

주요 결과

• 패킷레이트 파싱은 LL(k) 또는 LR(k) 문법으로 정의된 모든 언어에 대해 선형 시간 성능을 보장하며, 무한한 룩어헤드가 필요한 많은 비-LR 언어에도 적용 가능하다.
• 알고리즘은 가장 긴 매칭, 다음에 오는 조건, 다음에 오지 않는 조건 등의 복잡한 불명확성 제거 전략을 지원하며, 이는 표준 문맥 자유 문법으로는 표현하기 어려운 기능이다.
• 어휘 분석과 문법 분석은 단일 패킷레이트 파서에서 원활하게 통합될 수 있어, 문자열 통합이나 구조화된 마크업을 사용한 라이터레이처 프로그래밍 같은 기능을 가능하게 한다.
• LR 파서보다 더 나은 문법 조합 성질을 보이며, 확장 가능한 언어나 도메인 특화 언어에 더 적합하다.
• 재귀 깊이가 아니라 입력 크기 비례로 공간 복잡도가 증가하지만, 현대 컴파일러에서 실제로는 일반적으로 수용 가능한 비용이다.
• 레이지 평가와 고계 함수가 자연스럽게 재귀적 메모이제이션 파싱 구조를 표현할 수 있기 때문에, 이 접근법은 하스켈과 같은 함수형 언어에 특히 적합하다.