[논문 리뷰] Using Decision Trees for Coreference Resolution

Joseph F. McCarthy, Wendy G. Lehnert|ArXiv.org|1995. 05. 24.

Natural Language Processing Techniques참고 문헌 17인용 수 93

한 줄 요약

이 논문은 기업 합자사업 텍스트에서 공명사슬 해결을 위한 决정트리 기반 시스템인 Resolve를 제시하며, 수작업으로 설계된 규칙보다 재현율과 F-측도에서 뛰어난 성능을 보인다. 어휘 쌍에서 유도된 특징 벡터를 사용하여 Resolve는 C4.5 결합 트리 알고리즘을 통해 공명사슬 관계를 분류하는 데 성공하였으며, 비자르기된 경우 86.5%의 F-측도, 자르기된 경우 85.8%의 F-측도를 기록하여 MUC-5 규칙 기반 시스템의 78.9% F-측도를 초월한다.

ABSTRACT

This paper describes RESOLVE, a system that uses decision trees to learn how to classify coreferent phrases in the domain of business joint ventures. An experiment is presented in which the performance of RESOLVE is compared to the performance of a manually engineered set of rules for the same task. The results show that decision trees achieve higher performance than the rules in two of three evaluation metrics developed for the coreference task. In addition to achieving better performance than the rules, RESOLVE provides a framework that facilitates the exploration of the types of knowledge that are useful for solving the coreference problem.

연구 동기 및 목표

• 수작업으로 설계된 규칙의 한계를 해결하기 위해, 이는 취약하고 유지보수가 어려우며 종종 과도하게 보수적인 경향이 있다.
• 기계 학습을 통해 결합 트리가 공명사슬에 유용한 특징을 더 systematic하게 이해하는 데 도움이 될 수 있는지 탐색한다.
• 문장 수준 분석에서 발생하는 오류 전파를 줄이기 위해, 정제된 참조 마킹 인터페이스(cmi)를 사용하여 어휘 쌍을 추출한다.
• 특히 의미적 및 문법적 특징이 공명사슬 분류 정확도에 가장 기여하는지 확인한다.
• 공명사슬 해결에서 특징 탐색과 성능 튜닝을 용이하게 하는 확장 가능한 학습 가능한 프레임워크를 제공한다.

제안 방법

• 시스템은 C4.5 결합 트리 학습 알고리즘을 사용하여 어미어 뒷받침하는 특징 벡터를 기반으로 공명사슬 관계를 분류하는 규칙을 유도한다.
• 각 특징 벡터는 품사 태그, 의미적 특징, 도메인 전용 역할(예: 합자사업의 모회사 또는 자회사)과 같은 의미적, 문법적, 맥락적 속성을 포함한다.
• 학습 데이터는 텍스트에서 가능한 모든 어휘 쌍을 포함하며, 핵심어 마킹 인터페이스(cmi)를 사용해 공명사슬(양성) 또는 비공명사슬(음성)으로 레이블링된다.
• 시스템은 EJV 코퍼스의 분할 데이터를 사용해 교차 검증을 수행하며, 재현율, 정밀도, F-측도를 통해 성능을 평가한다.
• 과적합을 방지하고 일반화 능력을 향상시키기 위해 결합 트리에 대해 자르기(pruning)를 적용하며, 하이퍼파라미터는 표준 C4.5 설정을 통해 튜닝된다.
• 성능 비교를 위해 동일한 데이터에 대해 MUC-5 규칙 기반 시스템을 재현하였다.

실험 결과

연구 질문

• RQ1 기본어 기반의 시스템이 기업 합자사업 텍스트의 공명사슬 해결에서 수작업 규칙보다 뛰어난 성능을 낼 수 있는가?
• RQ2 의미적, 문법적, 맥락적 특징 중 어떤 것이 공명사슬 관계에 가장 예측력이 있는가?
• RQ3 재현율, 정밀도, F-측도 측면에서 결합 트리의 성능이 규칙 기반 시스템과 비교해 어떻게 되는가?
• RQ4 자르기 전략이 공명사슬 분류에 대한 결합 트리 모델의 일반화 능력과 내성 강도를 향상시키는가?
• RQ5 의미적 특징만으로도 높은 성능의 공명사슬 해결이 가능할까? 문법적 특징은 어떤 역할을 하는가?

주요 결과

• 비자르기된 결합 트리 모델을 사용한 Resolve는 86.5%의 F-측도를 기록하여 MUC-5 규칙 세트의 78.9% F-측도를 뛰어넘었다.
• 비자르기된 Resolve 모델은 85.4%의 재현율과 87.6%의 정밀도를 기록하였으며, 규칙 세트의 67.7% 재현율을 뛰어넘었지만 정밀도는 낮았다.
• 자르기된 Resolve 모델은 80.1%의 재현율과 92.4%의 정밀도를 기록하여 정밀도는 향상되었지만 약간의 재현율 손실이 있었다.
• 재현율을 두 배로 가중치를 주었을 때(β=2.0)에도 자르기된 Resolve 모델은 규칙 세트를 초월하여 82.3%의 F-측도를 기록하였고, 규칙 세트는 71.8%에 머물렀다.
• 모든 β 값에서 자르기된 모델은 F-측도에서 규칙 세트를 뛰어넘었으며, 재현율에 대한 가중치가 1/3 이하일 경우를 제외하고는 균형 잡힌 성능에서의 우월성이 뚜렷했다.
• 오류 분석 결과 현재 특징 세트(주로 의미적 특징)는 부족하며, 문법적 특징(예: 절 경계, 문법적 구성 요소)이 향후 성능 향상에 필요하다.