[논문 리뷰] Probabilistic Parsing Using Left Corner Language Models

Christopher D. Manning, Bob Carpenter|arXiv (Cornell University)|1997. 11. 17.

Natural Language Processing Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 상향식 목표와 하향식 유도를 모두 고려하여 규칙 확률을 조건화함으로써 정확도를 향상시키는 확률적 구문 분석 프레임워크를 소개한다. Penn Treebank 데이터를 사용한 Wall Street Journal에서의 평가 결과, 기존의 표준 상향식 확률적 문맥 자유 문법보다 성능이 뛰어나지만, 데이터셋의 평탄한 괄호 표기와 문법의 과다/과소 생성 문제로 인해 벤치마크로서의 효과가 제한된다.

ABSTRACT

We introduce a novel parser based on a probabilistic version of a left-corner parser. The left-corner strategy is attractive because rule probabilities can be conditioned on both top-down goals and bottom-up derivations. We develop the underlying theory and explain how a grammar can be induced from analyzed data. We show that the left-corner approach provides an advantage over simple top-down probabilistic context-free grammars in parsing the Wall Street Journal using a grammar induced from the Penn Treebank. We also conclude that the Penn Treebank provides a fairly weak testbed due to the flatness of its bracketings and to the obvious overgeneration and undergeneration of its induced grammar.

연구 동기 및 목표

• 보다 나은 언어 모델링을 위해 상향식과 하향식 추론을 통합하는 확률적 구문 분석 방법을 개발하는 것.
• 규칙 확률을 상향식 목표와 하향식 유도 모두에 조건화하는 것이 구문 분석 정확도 향상에 기여하는지 조사하는 것.
• 제안된 파서의 성능을 Penn Treebank의 실제 문법적 데이터에서 평가하는 것.
• Penn Treebank가 구문 분석 모델 평가에 있어 어떤 한계를 지닌다며 평가하는 것.

제안 방법

• 파서는 각 규칙 적용이 상향식 목표(예상되는 품사 분류)와 하향식 유도(이미 분석된 구성요소)에 의해 이끌리는 왼쪽-모서리 전략을 사용한다.
• 규칙 확률은 예측된 품사 분류와 현재까지 도출된 실제 구성요소 양쪽에 조건화되어 있어, 확률 추정에 더 풍부한 맥락을 제공한다.
• 관측된 왼쪽-모서리 유도에 기반해 최대우도 추정을 사용하여 구문을 유도한다.
• 상향식 가설 생성과 하향식 검증을 통합함으로써 모호성을 줄이고 구문 분석 결정을 향상시킨다.
• 전통적인 확률적 문맥 자유 문법을 상향식과 하향식 양방향의 구조적 제약을 통합함으로써 확장한다.

실험 결과

연구 질문

• RQ1 상향식 목표와 하향식 유도를 모두 고려하여 규칙 확률을 조건화하면 구문 분석 정확도 향상에 기여할 수 있는가?
• RQ2 실제 텍스트에서 왼쪽-모서리 구문 분석 전략은 표준 상향식 확률적 문맥 자유 문법보다 어떻게 비교되는가?
• RQ3 Penn Treebank의 괄호 표기 구조가 구문 분석 모델 평가에 얼마나 큰 제약을 가하는가?
• RQ4 Penn Treebank에서 유도된 문법이 심각한 과다 생성 또는 과소 생성을 보이는가?

주요 결과

• 왼쪽-모서리 파서는 Wall Street Journal 코퍼스에서 기존의 표준 상향식 확률적 문맥 자유 문법보다 성능이 뛰어나다.
• 성능 향상은 상향식과 하향식 정보를 모두 활용해 규칙 확률을 더 풍부하게 조건화한 데 기인한다.
• Penn Treebank는 평탄한 괄호 표기로 인해 구조적 정밀도 평가 능력이 제한되어 있어 약한 평가 기준으로 밝혀졌다.
• 유도된 문법은 과다 생성과 과소 생성을 모두 보이며, 훈련 데이터의 대표성에 한계가 있음을 시사한다.