[논문 리뷰] Robustness Evaluation of Two CCG, a PCFG and a Link Grammar Parsers

Tuomo Kakkonen|ArXiv.org|2008. 01. 24.

Natural Language Processing Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 오류 입력 조건, 특히 철자 실수 상황에서 네 가지 자연어 파서—두 개의 조합 고유 문법(CC-G) 파서, 확률적 문맥 자유 문법(PCFG) 파서, 링크 문법 파서—의 강건성(robustness)을 평가한다. 문법적 문장과 손상된 문장 간의 파싱 결과를 비교하는 두 가지 새로운 강건성 지표를 제안하며, 오류 수가 증가함에 따라 성능 저하가 심각하게 나타나는 것으로 밝혀졌다. 가장 우수한 파서인 C&C는 한 글자 실수를 가진 문장의 60.8%에서 동일한 파싱 트리를 유지한다.

ABSTRACT

Robustness in a parser refers to an ability to deal with exceptional phenomena. A parser is robust if it deals with phenomena outside its normal range of inputs. This paper reports on a series of robustness evaluations of state-of-the-art parsers in which we concentrated on one aspect of robustness: its ability to parse sentences containing misspelled words. We propose two measures for robustness evaluation based on a comparison of a parser's output for grammatical input sentences and their noisy counterparts. In this paper, we use these measures to compare the overall robustness of the four evaluated parsers, and we present an analysis of the decline in parser performance with increasing error levels. Our results indicate that performance typically declines tens of percentage units when parsers are presented with texts containing misspellings. When it was tested on our purpose-built test set of 443 sentences, the best parser in the experiment (C&C parser) was able to return exactly the same parse tree for the grammatical and ungrammatical sentences for 60.8%, 34.0% and 14.9% of the sentences with one, two or three misspelled words respectively.

연구 동기 및 목표

• 실제 세계의 노이즈 입력, 특히 철자 실수에 직면한 현대 파서의 강건성을 평가하기 위해.
• 최신 파서가 문법적으로 잘못되었지만 의미적으로 타당한 입력을 다룰 수 있는 한계를 규명하기 위해.
• 입력 손상 상황에서 파싱의 강건성을 측정하기 위한 새로운 정량적 지표를 개발하고 검증하기 위해.
• 두 개의 CCG, 한 개의 PCFG, 한 개의 링크 문법 파서로 구성된 네 가지 다른 파싱 아키텍처 간의 상대적 내성(내구성)을 비교하기 위해.

제안 방법

• 통제된 철자 실수(각 문장당 1개, 2개, 또는 3개 오류)를 포함한 443개 문장의 목적 설계된 테스트 셋을 제작한다.
• 두 가지 새로운 강건성 지표를 사용한다: (1) 문법적 문장과 손상된 버전에서 동일한 파싱 트리를 생성하는 문장의 비율, (2) 파싱 트리 간의 구조적 유사도를 정규화한 측정치.
• 각 파서를 원본 문법적 문장과 노이즈가 가미된 변형 문장에 적용하여 파싱 출력 쌍을 수집한다.
• 구문 트리 비교 기법을 사용해 파싱 출력을 비교하고 두 가지 강건성 지표를 계산한다.
• 오류 수준 증가(1, 2, 3개의 실수)에 따른 성능 저하를 분석하여 노이즈에 대한 민감도를 평가한다.
• 이전 평가에서 뛰어난 성능를 보인 C&C 파서를 비교 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 CCG, PCFG, 링크 문법 파서 등 서로 다른 파싱 아키텍처는 철자 실수가 있는 문장을 파싱할 때 어떻게 성능을 보이는가?
• RQ2 동일한 문장의 문법적 버전과 손상된 버전 간에 파서 출력이 얼마나 일관성 있게 유지되는가?
• RQ3 문장당 철자 실수의 수가 파싱 실패 또는 구조적 변화의 가능성을 어떻게 영향을 미치는가?
• RQ4 입력 노이즈 상황에서 파서 강건성을 정량적으로 측정하는 데 가장 효과적인 지표는 무엇인가?
• RQ5 실제 환경에서 철자 실수에 대해 가장 높은 내성을 보이는 파서 아키텍처는 무엇인가?

주요 결과

• 성능이 가장 뛰어난 C&C 파서는 한 글자 실수가 있는 문장의 60.8%에서 동일한 파싱 트리를 유지했다.
• 두 개의 실수가 있는 경우, 동일한 파싱을 유지한 문장 비율은 34.0%로 떨어졌다.
• 세 개의 실수가 있는 문장에서는 동일한 파싱 일관성 비율이 14.9%로 감소했다.
• 전반적으로 파서 성능은 노이즈 입력이 제공될 경우 수십个百分点 감소하여 철자 실수에 매우 민감한 것으로 나타났다.
• 강건성 지표는 파서 유형 간 내성 차이를 성공적으로 포착했으며, CCG 파서가 PCFG 및 링크 문법 파서보다 노이즈 조건에서 뛰어난 성능를 보였다.
• 이 연구는 심지어 뛰어난 성능를 보이는 파서라도 중간 수준의 입력 노이즈 하에서도 구조적 일관성을 유지하는 데 어려움을 겪는다는 점을 입증했다.