[논문 리뷰] The intersection of Finite State Automata and Definite Clause Grammars

Gertjan van Noord|ArXiv.org|1995. 04. 28.

Natural Language Processing Techniques참고 문헌 8인용 수 7

한 줄 요약

이 논문은 버나드 랑의 FSA-CFG 파싱 프레임워크를 확장하여 확정 절 문법(DCGs)으로 일반화하며, 기존의 파싱 알고리즘들이 유한 상태 오토마타(FSA) 입력을 처리하도록 연장될 수 있음을 보여준다. 주요 기여는 FSA와 DCG의 교차가 공집합인지 여부를 판단하는 것이 조건부로 비결정가능함을 증명하는 것으로, 이는 통일 문법 기반의 강건한 파싱에 근본적인 제약을 드러낸다.

ABSTRACT

Bernard Lang defines parsing as the calculation of the intersection of a FSA (the input) and a CFG. Viewing the input for parsing as a FSA rather than as a string combines well with some approaches in speech understanding systems, in which parsing takes a word lattice as input (rather than a word string). Furthermore, certain techniques for robust parsing can be modelled as finite state transducers. In this paper we investigate how we can generalize this approach for unification grammars. In particular we will concentrate on how we might the calculation of the intersection of a FSA and a DCG. It is shown that existing parsing algorithms can be easily extended for FSA inputs. However, we also show that the termination properties change drastically: we show that it is undecidable whether the intersection of a FSA and a DCG is empty (even if the DCG is off-line parsable). Furthermore we discuss approaches to cope with the problem.

연구 동기 및 목표

• 버나드 랑의 FSA-CFG 파싱 프레임워크를 확정 절 문법(DCGs)으로 확장하여, 유한 상태 오토마타를 입력으로 사용하는 파싱을 가능하게 한다.
• FSA 입력이 음성 이해 시스템에서 단어 라티스를 모델링하고, 유한 상태 변환기를 통한 강건한 파싱 기법을 어떻게 활용할 수 있는지 탐구한다.
• 유한 상태 오토마타와 DCG 간의 교차의 정지성 및 결정가능성 성질을 분석하며, 특히 공집합 검사에 초점을 맞춘다.
• FSA와 DCG 파싱 메커니즘을 결합할 때 발생하는 근본적인 계산적 과제를 식별하고 해결한다.

제안 방법

• 기존의 문자열 입력을 대상으로 설계된 파싱 알고리즘을 유한 상태 오토마타로 간주하는 방식으로 FSA 입력에 대해 작동하도록 적응시킨다.
• 입력을 나타내는 유한 상태 오토마타와 문법을 나타내는 DCG 간의 교차 계산으로 파싱 과정을 모델링한다.
• DCG가 복잡한 문법적 및 의미적 제약 조건을 표현할 수 있음을 활용하여, 통일 기반 파싱 개념을 FSA-DCG 교차에 적용한다.
• 형식 언어 이론을 활용하여 교차 연산의 계산 복잡도를 분석하며, 특히 정지성과 결정가능성에 중점을 둔다.
• 기존의 비결정가능 문제로의 축소를 통해 FSA-DCG 교차의 공집합 여부가 비결정가능함을 증명한다.
• 실제 파싱 응용에서 비결정성 문제를 관리하기 위한 히ュ리스틱 기법과 근사 기법에 대해 논의한다.

실험 결과

연구 질문

• RQ1 DCG용 표준 파싱 알고리즘이 문자열 대신 유한 상태 오토마타를 입력으로 처리하도록 적응시킬 수 있는가?
• RQ2 유한 상태 오토마타와 DCG 간의 교차의 계산적 성질—특히 정지성과 결정가능성—은 무엇인가?
• RQ3 특히 오프라인 파싱이 가능한 조건이라도, 주어진 FSA와 DCG의 교차가 공집합인지 여부는 결정가능한가?
• RQ4 실제로 FSA 입력을 사용하는 강건한 파싱 시스템에서 공집합 검사의 비결정성은 어떻게 해결할 수 있는가?

주요 결과

• DCG용 기존 파싱 알고리즘은 FSA 입력을 처리하도록 자연스럽게 확장될 수 있으며, 핵심 파싱 메커니즘은 유지된다.
• FSA와 DCG의 교차는 원칙적으로 계산될 수 있지만, 무한 유도로 인해 정지하지 않을 수 있다.
• FSA와 DCG의 교차가 공집합인지 여부는 비결정가능하며, 조건부로 오프라인 파싱이 가능한 DCG일지라도 마찬가지로 비결정가능하다. 이는 일반적인 알고리즘이 공집합 여부를 판단할 수 없음을 의미한다.
• 비결정성 결과는 DCG의 표현력과 FSA의 구조가 결합되어 무한 탐색 공간이 발생할 수 있음을 뜻한다.
• 이 비결정성은 단어 라티스와 같은 FSA 입력에 의존하는 강건한 파싱 시스템에 근본적인 도전 과제를 제기한다.
• 실제 응용에서는 비정지 문제를 관리하고 계산 가능성을 확보하기 위해 히ュ리스틱, 가지치기 또는 근사 기법에 의존해야 한다.