[논문 리뷰] Syntactic Analysis by Local Grammars Automata: an Efficient Algorithm

Mehryar Mohri|ArXiv.org|1994. 07. 04.

DNA and Biological Computing참고 문헌 6인용 수 14

한 줄 요약

이 논문은 국소 문법을 유한 상태 오토마타로 표현하여 금지된 단어 조합을 텍스트에서 탐지하는 데 실패 함수를 활용하는 효율적인 문법 분석 알고리즘을 제시한다. 이 방법은 어간 추출된 텍스트에서 모호성을 크게 감소시켜 최적의 시간 복잡도를 갖는 오토마타 기반 필터링을 가능하게 하여 대규모 문법 제약 조건의 확장 가능한 처리를 실현한다.

ABSTRACT

Local grammars can be represented in a very convenient way by automata. This paper describes and illustrates an efficient algorithm for the application of local grammars put in this form to lemmatized texts.

연구 동기 및 목표

• 국소 문법을 유한 상태 오토마타로 표현하여 어간 추출된 텍스트에서 문법적 모호성을 감소시키는 것.
• 오토마타 교차 및 실패 함수를 사용하여 텍스트에서 금지된 단어 조합을 탐지하는 효율적인 알고리즘을 개발하는 것.
• 국소 문법의 합집합 크기가 크더라도 그 적용을 확장 가능하게 하는 것.
• 오토마타 형태로 음성 규칙(금지된 조합)과 양성 규칙(필수 이어짐)을 모두 지원하는 것.

제안 방법

• 금지된 단어 조합을 인코딩하는 국소 문법을 유한 상태 오토마타로 표현하는 것.
• 오토마타 기반 패턴 탐지에서 시퀀스 매칭을 최적화하기 위해 Aho-Corasick의 실패 함수를 사용하는 것.
• 금지된 시퀀스를 포함하는 경로를 제거하여 텍스트 오토마타를 필터링하기 위해 오토마타 교차를 적용하는 것.
• 시퀀스 매칭 중 시간 복잡도를 향상시키기 위해 실패 함수 개념을 오토마타에 확장하는 것.
• 음성 규칙(금지된 조합)과 양성 규칙(필수 이어짐)을 모두 지원: 최종 상태를 통한 표현.
• 텍스트 오토마타와 문법 오토마타의 교차를 효율적으로 계산하기 위해 큐 기반 상태 구축 알고리즘을 사용하는 것.

실험 결과

연구 질문

• RQ1 국소 문법을 어떻게 효율적으로 적용하여 어간 추출된 텍스트에서 문법적 모호성을 줄일 수 있는가?
• RQ2 텍스트 오토마타에서 다수의 금지된 시퀀스를 탐지하기 위해 알고리즘적 개선을 어떻게 도입할 수 있는가?
• RQ3 실패 함수의 사용이 오토마타 기반 문법 필터링의 효율성을 어떻게 향상시키는가?
• RQ4 음성 규칙(금지된 조합)과 양성 규칙(필수 이어짐)이 모두 동일한 오토마타 프레임워크 내에서 균일하게 처리될 수 있는가?
• RQ5 국소 문법 오토마타의 합집합 크기가 커질 경우, 제안된 알고리즘의 확장성은 어떠한가?

주요 결과

• 제안된 알고리즘은 Aho-Corasick의 실패 함수를 오토마타에 확장하여 최적의 시간 복잡도를 달성함으로써 금지된 시퀀스를 효율적으로 탐지한다.
• 알고리즘은 텍스트 오토마타의 모호한 경로를 성공적으로 필터링하여 부정확한 문법 분석의 수를 크게 감소시킨다.
• 실험 결과는 알고리즘이 잘 확장됨을 보여주며, 수백 개의 상태를 가진 국소 문법 오토마타의 합집합을 처리할 수 있다.
• 최종 상태와 전이 제약 조건을 사용하여 음성 규칙(금지된 조합)과 양성 규칙(필수 이어짐)을 모두 지원하는 방법이다.
• 이 알고리즘은 오토마타 입력을 사용한 교차 및 패턴 매칭과 같은 다른 오토마타 연산으로도 일반화 가능하다.
• 68040 33MHz 및 i486 50MHz 시스템에서의 구현 결과, 실세계 NLP 응용 프로그램에 실용적인 효율성을 입증한다.