[논문 리뷰] "Roget's Thesaurus" as a lexical resource for natural language processing

Mario Jarmasz|arXiv (Cornell University)|2003. 01. 01.

Natural Language Processing Techniques참고 문헌 47인용 수 53

한 줄 요약

이 논문은 1987년 펭귄 출판사의 판을 기반으로 하여 로제의 동사사전을 처음으로 완전한 전자적 구현으로 제작하며, 자연어처리(NLP)를 위한 활용 가능한 어휘 자원으로 변환한다. 이는 의미 유사도 계산과 어휘 체인 구축에서 로제의 효과성을 입증하며, 기준 평가에서 다른 시스템들을 능가하고 워드넷과의 통합을 가능하게 한다.

ABSTRACT

This dissertation presents an implementation of an electronic lexical knowledge base that uses the 1987 Penguin edition of Roget's Thesaurus as the source for its lexical material---the first implementation of a computerized Roget's to use an entire current edition. It explains the steps necessary for taking a machine-readable file and transforming it into a tractable system. Roget's organization is studied in detail and contrasted with WordNet's. We show two applications of the computerized Thesaurus: computing semantic similarity between words and phrases, and building lexical chains in a text. The experiments are performed using well-known benchmarks and the results are compared to those of other systems that use Roget's, WordNet and statistical techniques. Roget's has turned out to be an excellent resource for measuring semantic similarity; lexical chains are easily built but more difficult to evaluate. We also explain ways in which Roget's Thesaurus and WordNet can be combined.

연구 동기 및 목표

• 1987년 펭귄 출판사의 로제의 동사사전을 기반으로 하여 기계에서 읽을 수 있는 어휘 지식 기반을 완전히 구축하기.
• 로제의 동사사전이 의미 유사도 및 어휘 체인 구축에 있어 워드넷의 타당한 대안이 될 수 있는지 평가하기.
• 표준 기준 평가에서 로제의 동사사전, 워드넷, 통계적 방법을 사용한 시스템 간의 성능을 비교하기.
• 로제의 동사사전과 워드넷 간의 통합 기법을 탐구하여 더 향상된 어휘 자원을 만들기.

제안 방법

• 로제의 동사사전 1987년 펭귄 판을 기계에서 읽을 수 있는 형식으로 변환하여 계산 처리에 적합하게 만들기.
• 로제의 계층적 카테고리 체계를 질의 접근이 가능한 구조화된 지식 기반으로 매핑하기.
• 로제의 분류 체계 내에서 단어나 어구 간의 유사도를 계산하기 위한 알고리즘 구현하기.
• 로제 체계의 의미 카테고리에 기반하여 텍스트 내의 내용어를 연결하여 어휘 체인 구축하기.
• 기존 기준 평가를 사용하여 시스템 성능을 평가하고, 워드넷 및 통계 모델의 결과와 비교하기.
• 로제의 동사사전과 워드넷을 융합하기 위한 방법 설계 및 테스트하기.

실험 결과

연구 질문

• RQ1 로제의 동사사전는 자연어처리 과제에서 의미 유사도 측정을 위한 어휘 자원으로 얼마나 효과적인가?
• RQ2 로제의 카테고리 기반 어휘 조직 방식을 사용하여 어휘 체인을 신뢰성 있게 구축할 수 있는가?
• RQ3 의미 유사도 및 어휘 체인 과제에서 로제의 동사사전, 워드넷, 통계적 방법 간의 성능은 어떻게 비교되는가?
• RQ4 로제의 동사사전에서 구축된 어휘 체인 평가 시 주요 과제는 무엇인가?
• RQ5 로제의 동사사전는 어떻게 효과적으로 워드넷과 융합시켜 어휘 표현을 향상시킬 수 있는가?

주요 결과

• 로제의 동사사전는 의미 유사도 측정에 매우 훌륭한 자원으로 입증되었으며, 기준 평가에서 다른 시스템들을 능가했다.
• 로제의 카테고리 체계를 활용하여 어휘 체인을 성공적으로 구축했지만, 그 품질 평가가 예상보다 더 어려웠다.
• 워드넷 및 통계 기반 기준과 비교했을 때 의미 유사도 과제에서 경쟁력 있는 성과를 달성했다.
• 로제의 계층적 구조는 강력한 의미 그룹화를 가능하게 하여 단어 및 어구 간 비교에 효과를 발휘했다.
• 로제의 동사사전와 워드넷 간의 통합 기법이 성공적으로 구현되었으며, 하이브리드 어휘 자원의 잠재력을 시사했다.
• 1987년 펭귄 판의 완전한 전자적 구현은 계산 언어학 분야에서 로제의 접근 가능성을 크게 향상시켰다.