[논문 리뷰] Unique Pattern Matching in Strings

Stijn Vansummeren|ArXiv.org|2003. 02. 03.

Natural Language Processing Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 첫 번째 매칭 및 가장 긴 매칭 정책을 사용하여 정규 표현식에 대한 고유한 패턴 매칭 의미 체계를 형식화하며, 일반적으로 사용되는 가장 긴 매칭을 재귀와 첫 번째 매칭을 통해 시뮬레이션하는 방법이 잘못되었음을 증명한다. 또한, 잘못된 매칭을 피하고 선형 시간 내에 정확한 하위표현 연관성을 갖는 효율적인 매칭을 수행할 수 있도록, 모순이 없는 NFA를 구성하는 타입 추론 알고리즘을 제안한다.

ABSTRACT

Regular expression patterns are a key feature of document processing languages like Perl and XDuce. It is in this context that the first and longest match policies have been proposed to disambiguate the pattern matching process. We formally define a matching semantics with these policies and show that the generally accepted method of simulating longest match by first match and recursion is incorrect. We continue by solving the associated type inference problem, which consists in calculating for every subexpression the set of words the subexpression can still match when these policies are in effect, and show how this algorithm can be used to efficiently implement the matching process.

연구 동기 및 목표

• 문자열 내 정규 표현식에 대한 고유한 매칭 의미 체계를 형식적으로 정의하여, 패턴 매칭의 모호함을 해결한다.
• 가장 긴 매칭을 첫 번째 매칭과 재귀를 통해 시뮬레이션할 수 있다는 광범위한 오해를 규명하고, 이것이 잘못되었음을 밝힌다.
• 정규 타입 추론 문제를 해결한다: 고유한 매칭 의미 체계 하에서 각 하위표현이 매칭할 수 있는 단어의 집합을 계산한다.
• 타입 추론 과정에서 유도된 모순이 없는 NFA를 기반으로 한 효율적인 선형 시간 매칭 알고리즘을 개발한다.
• 특정 형식 체계(예: XDuce의 것과 같은)에 종속되지 않는 문법적 및 시스템 독립적인 타입 추론 접근법을 제공한다.

제안 방법

• 두 가지 해소 규칙을 사용하는 형식적 매칭 관계를 정의한다: 선택에 대한 첫 번째 매칭 및 스타 연산자에 대한 가장 긴 매칭.
• 기본적인 타입 추론 문제를 도입한다: 패턴 P와 문맥 언어 C에 대해, 고유한 매칭 하에서 각 하위표현이 매칭하는 하위단어의 언어를 계산한다.
• 하나의 하이퍼오ート마타 (A, f)를 구성하는 알고리즘 H(P, C)를 제안한다. 여기서 f(n)은 하위표현 n이 매칭하는 언어를 나타내는 NFA이다.
• 패턴의 구조에 기반한 재귀적 구성 규칙을 사용한다: P = P1.P2, P = P1 + P2, P = P1* 에 대해 각 하위표현의 타입을 계산한다.
• 전체 패턴을 인식하고, 정방향 및 역방향 상태 탐색을 통해 효율적인 매칭을 지원하는 모순이 없는 NFA A를 구성한다.
• 두 단계 매칭 프로세스를 활용한다: 정방향 단계에서 도달 가능한 상태를 계산하고, 역방향 단계에서 유일한 수락 실행을 복원하며 하위표현 매칭을 추출한다.

실험 결과

연구 질문

• RQ1 정규 표현식 패턴 매칭에서 가장 긴 매칭을 첫 번째 매칭과 재귀를 사용해 시뮬레이션하는 표준 방법은 올바른가?
• RQ2 고유한 매칭 의미 체계 하에서 정규 타입 추론을 위한 타당하고 완전한 알고리즘은 무엇인가?
• RQ3 타입 추론 과정은 효율적으로 구현될 수 있으며, 선형 시간 매칭을 지원하는 오ート마타를 도출할 수 있는가?
• RQ4 타입 추론은 특정 정규 표현식 타입 체계나 문법적 표현 방식에 종속되지 않게 할 수 있는가?
• RQ5 타입 추론 및 매칭 프로세스의 계산 복잡도는 얼마이며, 추가 최적화가 가능한가?

주요 결과

• XDuce, C Duce, λre 등에서 일반적으로 사용되는 가장 긴 매칭을 첫 번째 매칭과 재귀를 통해 시뮬레이션하는 방법은 가장 긴 매칭 정책 하에서 공식적으로 잘못됨이 증명된다.
• 제안된 타입 추론 알고리즘 H(P, C)는 타당하고 완전하여, 고유한 매칭 하에서 각 하위표현이 매칭할 수 있는 단어의 집합을 정확히 계산한다.
• 결과적으로 생성된 오ート마타 A는 모순이 없으며, 입력 문자열당 최대 하나의 수락 실행만을 보장하므로 결정적이고 효율적인 매칭이 가능하다.
• 정방향 상태 전파와 역방향 실행 복원을 조합하여 하위표현 매칭을 추출함으로써, 선형 시간 매칭을 지원한다.
• 타입 추론 과정은 특정 정규 표현식 형식 체계에 종속되지 않으며, 오직 언어 연산에 의존하므로 명확성과 일반성을 향상시킨다.
• H(P, C)의 구성은 최악의 경우 지수적 팽창을 수반할 수 있으나, 논문은 그 복잡도에 대해 2EXPTIME 상한선을 추측한다.