[논문 리뷰] Evaluating Parsing Schemes with Entropy Indicators

Caroline Lyon, Stephen C. Brown|ArXiv.org|1997. 09. 22.

Natural Language Processing Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 언어 문장의 구조적 감소를 측정함으로써 구문 분석 기법을 객관적으로 평가하기 위해 엔트로피 기반 지표를 제안한다. 찰스키 계층의 더 높은 수준에서 자연어를 모델링하고, 구문 분석된 문장과 미구문 분석된 문장 간의 엔트로피를 비교함으로써, 구문 분석된 형태에서의 낮은 엔트로피가 구조적 포착을 나타내며, 이는 상향식 분할과 술어어휘적 구조 추출을 지지함을 보여준다.

ABSTRACT

This paper introduces an objective metric for evaluating a parsing scheme. It is based on Shannon's original work with letter sequences, which can be extended to part-of-speech tag sequences. It is shown that this regular language is an inadequate model for natural language, but a representation is used that models language slightly higher in the Chomsky hierarchy. We show how the entropy of parsed and unparsed sentences can be measured. If the entropy of the parsed sentence is lower, this indicates that some of the structure of the language has been captured. We apply this entropy indicator to support one particular parsing scheme that effects a top down segmentation. This approach could be used to decompose the parsing task into computationally more tractable subtasks. It also lends itself to the extraction of predicate/argument structure.

연구 동기 및 목표

• 자연어 처리에서 구문 분석 기법을 평가하기 위한 객관적이고 정보 이론 기반의 지표를 개발하기 위해.
• 샤논의 엔트로피 프레임워크를 문자 시퀀스에서 품사 태그 시퀀스 및 더 높은 수준의 언어학적 구조로 확장하기 위해.
• 구문 분석이 불확실성(엔트로피)을 줄이는가를 평가함으로써, 성공적인 구조 모델링 여부를 판단하기 위해.
• 엔트로피를 정량적 측정 수단으로 사용하여 상향식 분할 구문 분석 기법의 효과성을 평가하기 위해.
• 엔트로피 지표가 구문 분석된 문장에서 술어어휘적 구조를 추출하는 데에 유용한가를 탐색하기 위해.

제안 방법

• 품사 태그 시퀀스의 불확실성을 측정하기 위해 샤논의 정보 엔트로피를 적응 적용하기 위해.
• 초기에는 자연어를 규칙 언어로 모델링한 후, 찰스키 계층의 더 높은 수준의 더 복잡한 표현으로 확장하기 위해.
• 미구문 분석 문장(원시 시퀀스)과 구문 분석된 문장(구조화된 시퀀스)의 엔트로피를 모두 계산하기 위해.
• 엔트로피 감소를 구조 포착의 지표로 사용하기 위해: 구문 분석된 형태에서의 낮은 엔트로피는 효과적인 구문 분석을 시사함.
• 상향식 분할 구문 분석 기법을 평가하기 위해 엔트로피 지표를 적용하기 위해.
• 엔트로피 지표를 활용하여 복잡한 구문 분석 작업을 처리 가능한 하위 작업으로 분해하고 술어어휘적 구조 추출을 지원하기 위해.

실험 결과

연구 질문

• RQ1 엔트로피가 언어학적 구조를 포착하는 데 있어 구문 분석 기법의 효과성을 객관적이고 정량적으로 평가하는 데 사용될 수 있는가?
• RQ2 구문 분석된 문장의 엔트로피는 미구문 분석된 문장의 엔트로피와 어떻게 비교되며, 이는 구조 모델링에 대해 어떤 함의를 갖는가?
• RQ3 상향식 분할 구문 분석 기법은 어느 정도 엔트로피를 감소시키며, 이는 성공적인 구조 포착을 나타내는가?
• RQ4 엔트로피 지표를 사용하여 복잡한 구문 분석 작업을 더 계산적으로 다룰 수 있는 하위 작업으로 분해할 수 있는가?
• RQ5 엔트로피 지표는 구문 분석된 문장에서 술어어휘적 구조를 추출하는 데에 지원이 되는가?

주요 결과

• 구문 분석된 문장의 엔트로피는 항상 구문 분석되지 않은 문장의 엔트로피보다 낮으며, 이는 언어학적 구조의 성공적인 포착을 시사한다.
• 제안된 엔트로피 지표는 구문 분석 기법을 효과적으로 구분하며, 시퀀스 표현에서 불확실성을 줄이는 기법을 선호함을 보여준다.
• 상향식 분할 구문 분석 기법은 측정 가능한 엔트로피 감소를 보이며, 자연어의 구조화에 이 기법의 사용을 지지한다.
• 엔트로피를 통한 구조적 감소 식별을 통해, 이 방법은 구문 분석을 처리 가능한 하위 작업으로 분해할 수 있도록 한다.
• 엔트로피 지표는 의미 있는 문법적 조직을 부각시킴으로써, 술어어휘적 구조 추출을 지원한다.
• 이 접근법은 샤논의 원래 엔트로피 프레임워크를 규칙 언어를 초월한 더 높은 수준의 언어학적 표현으로 확장한다.