[논문 리뷰] A Comparison of WordNet and Roget's Taxonomy for Measuring Semantic Similarity

Michael Mc Hale|arXiv (Cornell University)|1998. 01. 01.

Natural Language Processing Techniques참고 문헌 8인용 수 22

한 줄 요약

이 논문은 어휘 유사도 측정을 위한 의미 테이소노미로 로제의 국제 동의어사전(Roget's International Thesaurus)을 평가하며, 네 가지 기존의 메트릭을 적용하여 의미 유사도를 평가한다. 분석 결과, 로제의 테이소노미에서 전통적인 간선 수 계산 방법이 인간 평가와 높은 상관관계(r=0.88)를 보이며, 인간의 상한선(r=0.90)에 매우 가까운 성능을 보인다.

ABSTRACT

This paper presents the results of using Roget's International Thesaurus as the taxonomy in a semantic similarity measurement task. Four similarity metrics were taken from the literature and applied to Roget's The experimental evaluation suggests that the traditional edge counting approach does surprisingly well (a correlation of r=0.88 with a benchmark set of human similarity judgements, with an upper bound of r=0.90 for human subjects performing the same task.)

연구 동기 및 목표

• 로제의 국제 동의어사전를 워드넷의 대안으로서 의미 유사도 측정에 평가하기 위해.
• 로제의 테이소노미에 적용된 네 가지 기존 유사도 메트릭의 성능을 평가하기 위해.
• 로제의 테이소노미에서 전통적인 간선 수 계산 방법이 인간의 의미 평가와 얼마나 잘 일치하는지 확인하기 위해.
• 인간이 평가한 유사도 판단을 기반으로 로제 기반 의미 유사도의 기준을 설정하기 위해.

제안 방법

• 문헌에서 기존에 제안된 네 가지 의미 유사도 메트릭을 로제의 국제 동의어사전의 의미 테이소노미 기반으로 적용하였다.
• 테이소노미의 구조를 활용하여 단어 쌍 간의 경로 길이를 계산하여 간선 수 계산 유사도의 기초를 마련하였다.
• 로제의 계층적 구조에서 개념 간 최단 경로를 기반으로 유사도 점수를 계산하였다.
• 평가 및 상관관계 분석을 위해 표준 기준 세트의 인간 유사도 평가 데이터를 사용하였다.
• 시스템의 유사도 점수와 인간 평가 간의 상관관계를 비교하기 위해 피어슨 상관계수를 계산하였다.

실험 결과

연구 질문

• RQ1 로제의 테이소노미는 워드넷과 비교해 의미 유사도 측정에서 어떻게 성능을 보이는가?
• RQ2 로제의 테이소노미에 적용된 간선 수 계산 방법의 성능은 어떠한가?
• RQ3 로제의 테이소노미에서 간선 수 계산 방법은 인간의 성능에 얼마나 가까이 도달하는가?
• RQ4 로제의 테이소노미는 의미 유사도 작업에서 워드넷의 실질적인 대안이 될 수 있는가?

주요 결과

• 로제의 테이소노미에서 간선 수 계산 방법이 인간의 유사도 평가와 r=0.88의 상관관계를 보였다.
• 이 성능는 같은 작업을 수행하는 인간 피실험자들이 기록한 상한선인 r=0.90에 매우 가까운 것으로 나타났다.
• 결과적으로 로제의 테이소노미는 의미 유사도 측정에 강력한 후보로 평가되며, 기존의 워드넷 기반 접근법과 견줄 만하다.
• 기존의 단순한 간선 수 계산 방법이 로제의 테이소노미에서 놀라울 정도로 잘 작동하며, 그 단순성에 비해 기대 이상의 성능을 보였다.