[논문 리뷰] Learning Unification-Based Natural Language Grammars

Miles Osborne|arXiv (Cornell University)|1995. 02. 03.

Natural Language Processing Techniques참고 문헌 89인용 수 3

한 줄 요약

이 논문은 데이터 기반 및 모델 기반 방법을 융합하는 하이브리드 학습 접근법을 제안하여 통일 기반 자연어 문법에서의 과소생성 문제를 보정한다. 스피킨 엔글리시 코퍼스의 데이터와 언어학적 모델을 통합함으로써, 시스템은 과소생성과 과다생성 모두를 줄이며, 더 넓은 커버리지와 타당성을 확보한 언어학적으로 타당한 분석을 생성하는 문법을 도출한다.

ABSTRACT

When parsing unrestricted language, wide-covering grammars often undergenerate. Undergeneration can be tackled either by sentence correction, or by grammar correction. This thesis concentrates upon automatic grammar correction (or machine learning of grammar) as a solution to the problem of undergeneration. Broadly speaking, grammar correction approaches can be classified as being either {\it data-driven}, or {\it model-based}. Data-driven learners use data-intensive methods to acquire grammar. They typically use grammar formalisms unsuited to the needs of practical text processing and cannot guarantee that the resulting grammar is adequate for subsequent semantic interpretation. That is, data-driven learners acquire grammars that generate strings that humans would judge to be grammatically ill-formed (they {\it overgenerate}) and fail to assign linguistically plausible parses. Model-based learners are knowledge-intensive and are reliant for success upon the completeness of a {\it model of grammaticality}. But in practice, the model will be incomplete. Given that in this thesis we deal with undergeneration by learning, we hypothesise that the combined use of data-driven and model-based learning would allow data-driven learning to compensate for model-based learning's incompleteness, whilst model-based learning would compensate for data-driven learning's unsoundness. We describe a system that we have used to test the hypothesis empirically. The system combines data-driven and model-based learning to acquire unification-based grammars that are more suitable for practical text parsing. Using the Spoken English Corpus as data, and by quantitatively measuring undergeneration, overgeneration and parse plausibility, we show that this hypothesis is correct.

연구 동기 및 목표

• 넓은 커버리지 문법에서 유효한 문장을 분석하지 못하는 과소생성 문제를 해결한다.
• 순수하게 데이터 기반 학습자에서 비롯되는 한계를 극복한다. 이는 종종 부적절한 문장을 과다생성하기 때문이다.
• 모델 기반 학습자의 불완전성을 데이터를 활용해 언어 지식의 빈도를 메우며 완화한다.
• 커버리지(데이터 기반 학습)와 타당성(모델 기반 학습)을 균형 잡는 시스템을 개발한다.
• 신뢰할 수 있는 의미 해석이 가능한 실용적 텍스트 처리에 적합한 문법 학습 프레임워크를 구축한다.

제안 방법

• 스피킨 엔글리시 코퍼스를 활용한 데이터 기반 학습을 통해 누락된 문법적 패턴을 식별한다.
• 사전 정의된 문법성 언어학 모델을 적용하여 문법 규칙을 제약한다.
• 통일 기반 형식을 사용해 문법 제약 조건과 특성 구조를 표현한다.
• 데이터가 모델의 간극을 보완하고 모델이 노이즈가 많은 데이터를 걸러내는 하이브리드 학습 아키텍처에서 두 접근법을 융합한다.
• 과소생성, 과다생성 및 분석 타당성 평가를 위한 정량적 지표를 활용한다.
• 분석 결과 및 언어학적 타당성 평가의 피드백을 반복적으로 활용해 문법을 정교화한다.

실험 결과

연구 질문

• RQ1 데이터 기반 및 모델 기반 학습을 융합하면 통일 기반 문법에서 과소생성을 줄일 수 있는가?
• RQ2 순수하게 데이터 기반 방법과 비교해 하이브리드 접근법은 과다생성을 방지하는가?
• RQ3 모델 기반 구성 요소가 분석의 언어학적 타당성에 얼마나 기여하는가?
• RQ4 시스템은 광범위한 커버리지와 문법적 타당성의 균형을 얼마나 효과적으로 달성하는가?
• RQ5 실제 코퍼스 데이터와 정량적 지표를 사용해 시스템을 경험적으로 검증할 수 있는가?

주요 결과

• 하이브리드 시스템은 모델 기반 학습만을 사용한 경우보다 과소생성을 크게 줄였다.
• 모델 기반 구성 요소가 데이터 기반 학습이 식별한 부적절한 문장 구조를 걸러내므로 과다생성이 최소화되었다.
• 분석의 타당성이 향상되어, 결과적으로 더 넓은 범위의 문장에 대해 언어학적으로 수용 가능한 분석을 도출하는 문법이 되었다.
• 데이터 기반 또는 모델 기반 방법을 별도로 사용한 경우보다 커버리지와 타당성의 균형이 더 우수했다.
• 스피킨 엔글리시 코퍼스를 활용한 정량적 평가 결과, 하이브리드 접근법이 모든 핵심 지표에서 베이스라인 방법을 뛰어넘었다.
• 광범위한 커버리지와 언어학적 정확성이 요구되는 실용적 텍스트 분석 시스템에 적용 가능한 가능성을 입증했다.