[논문 리뷰] Evaluating the Effectiveness of Ensembles of Decision Trees in Disambiguating Senseval Lexical Samples

Ted Pedersen|ArXiv.org|2002. 05. 27.

Bayesian Modeling and Causal Inference참고 문헌 6인용 수 8

한 줄 요약

이 논문은 Senseval-1 및 Senseval-2 어휘 샘플에서 단어의 의미 해석을 위한 결합된 결정 트리의 성능을 평가한다. 여기서는 유니그램, 바이그램, 공출현 특징을 사용한다. 시스템은 서로 다른 특징 시각에서 훈련된 백드 결정 트리를 사용하며, 공출현 특징이 개별적으로 가장 정확도가 높게 나타나, 앙상블이 단일 모델보다는 제한적인 향상만을 제공한다는 것을 시사한다.

ABSTRACT

This paper presents an evaluation of an ensemble--based system that participated in the English and Spanish lexical sample tasks of Senseval-2. The system combines decision trees of unigrams, bigrams, and co--occurrences into a single classifier. The analysis is extended to include the Senseval-1 data.

연구 동기 및 목표

• 앙상블 기반의 결정 트리가 개별 분류기보다 단어의 의미 해석 정확도를 향상시키는지 평가하는 것.
• Duluth38 앙상블의 구성 분류기들이 상호보완적인지 여부를 판단하는 것.
• 유니그램, 바이그램, 공출현 특징이 의미 해석 성능에 기여하는 상대적 기여도를 평가하는 것.
• Duluth38 시스템의 성능을 Senseval-1 및 Senseval-2의 최상위 시스템들과 비교하는 것.
• 보다 단순한 모델(예: 다수결 분류기, 결정 스텁)이 최적의 조합을 통해 복잡한 앙상블과 유사한 정확도를 달성할 수 있는지 조사하는 것.

제안 방법

• 시스템은 Weka의 J48를 통해 백드 결정 트리를 사용하며, 세 가지 별도의 특징 시각에서 훈련한다: 유니그램, 바이그램, 공출현.
• 유니그램은 목표 단어의 맥락에서 다섯 번 이상 나타나며, 정지어를 제외한 단어이다.
• 바이그램은 로그우도비율 ≥6.635(p ≤ 0.01)를 만족하여 상관성이 없음을 나타낸다.
• 공출현 특징은 목표 단어와 한 칸 또는 두 칸 이내의 이웃 단어로 이루어진 단어 쌍이며, 로그우도 ≥2.706(p ≤ 0.10)여야 한다.
• 각 특징 유형은 별도의 훈련 세트를 형성하며, 개별 결정 트리가 각각 훈련된다.
• 최종 예측은 앙상블 내 세 개의 트리에서의 다수결 투표를 통해 이루어진다.

실험 결과

연구 질문

• RQ1 Duluth38 앙상블의 구성 분류기들이 상호보완적인가, 아니면 중복된 예측을 하는가?
• RQ2 앙상블 투표를 통해 여러 결정 트리를 결합함으로써 개별 트리보다 의미 해석 정확도가 유의미하게 향상되는가?
• RQ3 유니그램, 바이그램, 공출현 중 어떤 특징 유형이 의미 해석 정확도에 가장 큰 기여를 하는가?
• RQ4 Duluth38 앙상블의 성능은 Senseval-1 및 Senseval-2의 최상위 시스템들과 비교해 어떻게 되는가?
• RQ5 다수결 분류기, 결정 스텁과 같은 단순 기반 모델이 최적의 조합을 통해 복잡한 앙상블과 유사한 성능을 달성할 수 있는가?

주요 결과

• 공출현 결정 트리만으로도 Senseval-1 데이터에서 68%의 정확도를 달성하였으며, 이는 전체 앙상블의 성능과 동일했다.
• 앙상블 시스템(Duluth38)은 Senseval-1에서 68%의 정확도를 기록하였고, 영어 Senseval-2 테스트 세트에서는 72.5%의 정확도를 기록하였다.
• 공출현 트리가 가장 높은 정확도를 보인 개별 분류기였으며, 유니그램 및 바이그램 트리보다 뛰어났다.
• Duluth38와 상위 두 시스템 간의 일치도는 모든 데이터셋에서 테스트 인스턴스의 80% 이상을 차지하며 높았다.
• 다수결 분류기와 결정 스텁은 테스트 인스턴스의 33%에서 43%에서 잘못된 예측을 하여, 최적의 조합을 통해 향상 가능할 여지가 있음을 시사했다.
• 가장 정확도가 높은 개별 분류기(공출현 트리)보다 앙상블이 얻는 향상은 미미하여, 구성 요소 간의 상호보완성이 제한적임을 시사한다.