[논문 리뷰] Can Subcategorisation Probabilities Help a Statistical Parser?

John A. Carroll, Guido Minnen외 1명|arXiv (Cornell University)|1998. 06. 21.

Natural Language Processing Techniques참고 문헌 32인용 수 56

한 줄 요약

이 논문은 1,000만 단어 분량의 코퍼스에서 확보한 보조어 빈도 데이터가 통계적 파서 정확도를 향상시킬 수 있는지 조사한다. 문법적 구조의 복원 정확도를 높이기 위해 문법적 빈도 데이터를 통합한 문법적 확률 모델을 사용한 결과, 오류 수가 감소하고 테스트 코퍼스의 문법적 분포와 더 잘 일치하는 성과를 보였다.

ABSTRACT

Research into the automatic acquisition of lexical information from corpora is starting to produce large-scale computational lexicons containing data on the relative frequencies of subcategorisation alternatives for individual verbal predicates. However, the empirical question of whether this type of frequency information can in practice improve the accuracy of a statistical parser has not yet been answered. In this paper we describe an experiment with a wide-coverage statistical grammar and parser for English and subcategorisation frequencies acquired from ten million words of text which shows that this information can significantly improve parse accuracy.

연구 동기 및 목표

• 대규모 코퍼스에서 확보한 보조어 빈도 데이터가 통계적 파서 성능을 향상시킬 수 있는지 평가하는 것.
• 보조어 빈도를 통합한 문법적 확률 모델이 파서 정확도에 측정 가능한 기여를 하는지에 대한 열린 경험적 질문을 해결하는 것.
• 영국 국립 코퍼스(British National Corpus)에서 확보한 보조어 빈도 데이터를 기존의 광범위한 커버리지의 영어 통계적 파서에 통합하는 것.
• 보조어 빈도 확률이 문법적 관계 복원 및 구조 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 연구는 Carroll과 Briscoe(1996)가 개발한 문법적 확률 모델 기반의 광범위한 커버리지 통계적 파서를 사용한다.
• 구어문의 보조어 빈도는 영국 국립 코퍼스의 1,000만 단어 분량에서 강력한 통계적 파서와 보조어 클래스 분류기로 확보하였다.
• 파서는 코퍼스에서 유도된 보조어 확률을 통합함으로써 문법적 빈도 데이터를 기반으로 문법적 구조의 순서를 매길 수 있도록 개선되었다.
• 다양한 장르에 걸친 500개 문장의 테스트 코퍼스를 사용하여 기준 파서와 문법적 확률 모델을 적용한 파서 버전을 평가하였다.
• 기준 파서와 문법적 확률 모델을 적용한 파서의 출력 결과에서 문법적 관계를 추출하고 비교하여 정확도 향상을 측정하였다.
• 오류 유형별로 분류하고 분석하기 위해 정성적 오류 분석을 실시하였으며, 이는 보조어, 수식어, 연결어, 텍스트적 부사어, 잘못된 괄호 구조 등에 대한 오류를 포함한다.

실험 결과

연구 질문

• RQ1 대규모 코퍼스에서 확보한 보조어 빈도 데이터가 문법적 관계 복원 정확도를 향상시킬 수 있는가?
• RQ2 보조어 확률을 통합함으로써 파서가 문법적 구조를 기준 버전 대비 얼마나 더 잘 모델링하는가?
• RQ3 보조어 빈도 정보 통합으로 가장 영향을 받는 오류 유형은 무엇인가?
• RQ4 문법적 확률 모델을 적용한 파서가 테스트 코퍼스에서 관찰된 구조 분포를 얼마나 잘 반영하는가?

주요 결과

• 문법적 확률 모델을 적용한 파서는 기준 파서 대비 15.8%의 문법적 관계 오류 감소를 기록하였으며, 보조어 오류는 124건으로 기준 파서의 144건보다 줄어들었다.
• 문법적 확률 모델을 적용한 파서는 문장당 평균 4.15개의 문법적 관계를 생성하였으며, 이는 테스트 코퍼스의 평균 4.15개와 매우 유사하여 실제 데이터 분포와의 일치도가 높음을 시사한다.
• 기준 파서는 문장당 평균 4.65개의 문법적 관계를 생성하였으며, 이는 코퍼스에 존재하지 않는 관계를 체계적으로 과다 생성하고 있음을 의미한다.
• 보조어 오류가 가장 빈번하게 발생하였으며, 문법적 확률 모델을 적용한 파서에서 124건의 오류가 발생했고, 이 중 115건이 동사적 오류였으며, 수동형에서 능동형으로 잘못 분석된 경우가 포함되었다.
• 현재 VSUBCAT 값에서 보조어 클래스로의 매핑 체계가 중첩된 분사동사 구조를 처리할 수 없어, 분사동사 및 연결된 동사어의 처리에 특히 어려움을 겪었다.
• 정성적 분석 결과, 134건의 수식어 오류 중 20건은 부사어구가 의도한 명사어구가 아닌 더 높은 동사어구에 잘못 연결된 경우였으며, 30건의 텍스트적 부사어 오류 중 8건은 쉼표로 분리된 문장적 부사어가 낮게 연결된 경우였다.