[논문 리뷰] Naive Bayes and Exemplar-Based approaches to Word Sense Disambiguation Revisited

Gerard Escudero, Lluı́s Màrquez외 1명|ArXiv.org|2000. 07. 07.

Natural Language Processing Techniques참고 문헌 21인용 수 57

한 줄 요약

이 논문은 단어 의미 해석(Word Sense Disambiguation, WSD)을 위한 나이브 베이즈와 예시 기반 학습을 재검토하며, 정확도를 유지하면서도 효율성을 높이는 '양성 전용 표현'을 제안한다. 예시 기반 방법에서 MVDM 거리 측정법과 예시 가중치를 적용한 결과, 특히 풍부한 특징 집합을 사용할 경우 나이브 베이즈를 크게 능가하며, '양성 예시 기반(PEB)' 접근법은 SetB 특징을 사용해 광범위한 커버리지의 코퍼스에서 68.8%의 정확도를 달성한다.

ABSTRACT

This paper describes an experimental comparison between two standard supervised learning methods, namely Naive Bayes and Exemplar-based classification, on the Word Sense Disambiguation (WSD) problem. The aim of the work is twofold. Firstly, it attempts to contribute to clarify some confusing information about the comparison between both methods appearing in the related literature. In doing so, several directions have been explored, including: testing several modifications of the basic learning algorithms and varying the feature space. Secondly, an improvement of both algorithms is proposed, in order to deal with large attribute sets. This modification, which basically consists in using only the positive information appearing in the examples, allows to improve greatly the efficiency of the methods, with no loss in accuracy. The experiments have been performed on the largest sense-tagged corpus available containing the most frequent and ambiguous English words. Results show that the Exemplar-based approach to WSD is generally superior to the Bayesian approach, especially when a specific metric for dealing with symbolic attributes is used.

연구 동기 및 목표

• 이전 문헌에서 나이브 베이즈와 예시 기반 WSD 방법을 비교할 때 갈등하는 결과가 존재하는 문제를 해결하기 위해.
• 큰 특징 집합을 처리할 때 두 방법의 계산 효율성을 향상시키기 위해.
• 특징 공간의 풍부함과 거리 측정법 선택이 WSD 성능에 미치는 영향을 평가하기 위해.
• 지식 획득의 병목 현상에도 불구하고 지도 학습 방법이 높은 정확도를 달성할 수 있는지 조사하기 위해.
• 정확도 손실 없이 효율성을 향상시키는 '양성 전용 표현'을 제안하고 검증하기 위해.

제안 방법

• 학습 예시에서 음성 값은 모두 기각하고 양성 값만 사용하는 '양성 전용 표현'을 제안하여 효율성을 향상시킨다.
• 예시 기반 학습에서 기호적 특징을 다룰 수 있도록 MVDM(Married Value Difference Metric)을 적용하여 범주형 특징을 더 잘 처리한다.
• 예시 가중치와 특징 가중치를 활용해 예시 기반 분류의 정확도와 강건성을 향상시킨다.
• 예시 기반 학습에서 히브닝 거리와 MVDM을 유사도 측정 기준으로 사용한다.
• 특징 가중치 유무에 따라 나이브 베이즈를 구현하고, 다양한 특징 집합에서 성능을 비교한다.
• 모든 변종을 두 개의 대규모 의미 태깅 코퍼스(15단어 서브셋과 191단어 전체 코퍼스, 총 192,800개 예제 포함)에서 테스트한다.

실험 결과

연구 질문

• RQ1 더 풍부한 특징 집합과 더 나은 거리 측정법을 사용할 때, 예시 기반 접근법이 나이브 베이즈를 능가하는가?
• RQ2 양성 전용 표현이 정확도를 떨어뜨리지 않고 나이브 베이즈와 예시 기반 학습의 효율성을 크게 향상시킬 수 있는가?
• RQ3 거리 측정법 선택(Hamming 거리 대비 MVDM)이 예시 기반 WSD의 성능에 어떤 영향을 미치는가?
• RQ4 왜 일부 이전 연구에서는 나이브 베이즈와 예시 기반 방법 간에 모순된 결과를 보였는가?
• RQ5 대규모 WSD에서 정확도와 효율성 사이에 계산 가능하고 실용적인 트레이드오프가 존재하는가?

주요 결과

• MVDM 거리 측정법과 예시 가중치를 적용한 예시 기반 접근법은 나이브 베이즈를 크게 능가하며, SetA를 사용한 15단어 서브셋에서 70.2%의 정확도를 기록한다.
• 191단어 전체 코퍼스에서 '양성 예시 기반(PEB h,7,e)' 방법은 SetB를 사용해 68.8%의 정확도를 달성하며, 나이브 베이즈 및 기타 변종을 모두 능가한다.
• 양성 전용 표현은 나이브 베이즈의 CPU 시간을 80배, 예시 기반 학습의 경우 15배 감소시켜 대규모 WSD를 실현 가능하게 한다.
• 나이브 베이즈는 SetA에서 SetB로 전환해도 정확도 향상이 없어, 더 풍부한 특징 집합을 처리하는 데 한계가 있음을 시사한다.
• MVDM 거리 측정법은 기호적 특징에 대해 히브닝 거리보다 더 효과적이지만, 대규모 특징 집합에서는 계산 비용이 너무 높다.
• SetB, 히브닝 거리, 예시 가중치를 사용한 PEB h,7,e 변종은 현실적인 환경에서 정확도와 효율성의 최적 균형을 이룬다.