[논문 리뷰] Word Sense Disambiguation by Web Mining for Word Co-occurrence Probabilities

Peter D. Turney|ArXiv.org|2004. 07. 29.

Natural Language Processing Techniques참고 문헌 7인용 수 14

한 줄 요약

이 논문은 Senseval-3 영어 어휘 샘플 과제를 위한 NRC의 단어 의미 해석 해제 시스템을 제시하며, 외부 어휘집에 의존하지 않고 웹에서 추출한 단어 공현 확률을 이용해 의미 특징을 생성한다. 이 시스템은 Weka와 브릴의 태거를 활용한 지도 학습 방식을 채택하여 75.9%의 굵은 단계 F1 스코어를 달성하였으며, 이는 코퍼스 기반 의미 특징이 단어 의미 해석 해제 성능을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

This paper describes the National Research Council (NRC) Word Sense Disambiguation (WSD) system, as applied to the English Lexical Sample (ELS) task in Senseval-3. The NRC system approaches WSD as a classical supervised machine learning problem, using familiar tools such as the Weka machine learning software and Brill's rule-based part-of-speech tagger. Head words are represented as feature vectors with several hundred features. Approximately half of the features are syntactic and the other half are semantic. The main novelty in the system is the method for generating the semantic features, based on word \hbox{co-occurrence} probabilities. The probabilities are estimated using the Waterloo MultiText System with a corpus of about one terabyte of unlabeled text, collected by a web crawler.

연구 동기 및 목표

• 대규모 비구조화된 웹 텍스트를 활용해 의미 특징을 생성하는 강력한 지도 학습 기반 WSD 시스템을 개발하기 위해.
• 어휘집 기반 특징 대신 어순 공현 확률에서 유도된 코퍼스 기반 의미 특징이 WSD에서 효과적으로 기능할 수 있는지 조사하기 위해.
• Senseval-3 ELS 벤치마크에서 특징이 풍부하고 문법-의미 하이브리드 모델의 성능을 평가하기 위해.
• 실제 웹 데이터를 활용한 특징 선택 및 정규화 전략이 WSD 정확도에 미치는 영향을 파악하기 위해.
• 웹에서 추출한 특징을 사용할 때, 세밀한 단계 대비 굵은 단계의 의미 레이블링이 성능 향상에 기여하는지 비교하기 위해.

제안 방법

• 각 헤드 단어 중심으로 9단어 윈도우를 사용하며, 부사어 품사 태그는 브릴의 규칙 기반 태거를 통해 할당된다.
• 문법 특징은 부사어 품사 태그를 바탕으로 세 가지 매치 타입을 사용해 유도된다: ptag(부분 태그 일치), tag(정확한 태그 일치), word(정확한 단어 일치).
• 의미 특징은 워털루 멀티텍스트 시스템을 통해 1TB의 웹 코퍼스에서 추정한 어순 공현 확률을 이용해 생성된다.
• 어순 공현 확률은 점별 상호정보량(PMI) 스코어로 변환되며, 이후 각 특징 벡터별 백분위수로 정규화된다.
• 특징 벡터는 약 50%의 문법 특징과 약 50%의 의미 특징을 조합하며, 모든 특징은 내부적으로 백분위수로 정규화되어 학습 안정성을 향상시킨다.
• 최종 분류를 위해 백킹을 적용한 다섯 개의 Weka 기본 분류기로 구성된 투표 앙상블을 사용하며, 다중 클래스 예측을 위해 1-대-모든 전략을 적용한다.

실험 결과

연구 질문

• RQ1 대규모 비구조화된 웹 텍스트는 외부 어휘집 없이도 의미 특징 생성에 효과적으로 활용될 수 있는가?
• RQ2 정제된 어휘 자원을 사용하는 시스템과 비교해 웹에서 추출한 어순 공현 확률 기반 WSD 시스템의 성능은 어떠한가?
• RQ3 지도 학습 기반 WSD 프레임워크에서 문법 특징과 의미 특징 간 최적의 균형은 무엇인가?
• RQ4 의미 특징의 백분위수 정규화가 모델 일반화 및 미리 보지 않은 테스트 데이터에서의 성능 향상에 기여하는가?
• RQ5 코퍼스 기반 특징을 사용할 때, 세밀한 의미를 굵은 단계의 동치 클래스로 재레이블링하는 것이 WSD 성능 향상에 유익한가?

주요 결과

• NRC-Fine 시스템은 Senseval-3 ELS 과제에서 세밀한 단계 F1 스코어 69.4%와 굵은 단계 F1 스코어 75.9%를 달성하였다.
• NRC-Coarse2 시스템은 굵은 단계 F1 스코어 75.7%를 기록하였으며, 이는 굵은 단계 레이블링이 세밀한 단계 시스템보다 성능 향상을 이끌지 못했음을 시사한다.
• 더 많은 의미 특징을 유지함(더 적은 강도의 정제)할수록 성능 향상이 있었으며, 이는 특징 선택 임계값을 보수적으로 설정해야 한다는 것을 시사한다.
• 시스템의 성능는 Senseval-3 참가자 47명 중 중위 수준이었으며, 최고 성능 시스템(세밀한 단계 72.9%, 굵은 단계 79.5%)과 중앙값(세밀한 단계 65.1%, 굵은 단계 73.7%) 사이에 위치하였다.
• 의미 특징의 백분위수 정규화가 모델 안정성과 성능 향상에 기여하였으며, 이는 PMI 기반 학습에서 이전 연구 결과와 일치한다.
• 어휘집이 없더라도 성능에 지장을 주지 않았으며, 이는 대규모 웹 코퍼스가 WSD의 효과적인 의미 지식 원천이 될 수 있음을 확인한다.