[논문 리뷰] A Novel Information Theoretic Framework for Finding Semantic Similarity in WordNet

Abhijit Adhikari, S. Paul Singh외 3명|arXiv (Cornell University)|2016. 07. 19.

Topic Modeling참고 문헌 1인용 수 7

한 줄 요약

이 논문은 WordNet에서 의미 유사도를 위한 정보 이론적 프레임워크를 제안하며, 외부 어휘집에 의존하지 않는 내재적 정보량(IC) 계산 모델을 사용한다. WordNet의 온톨로지의 구조적 특성을 활용하여, 금표준 데이터셋과 높은 상관관계(최대 0.71)를 달성하며, 최신의 IC 기반 및 비-IC 기반 방법들을 능가한다.

ABSTRACT

Information content (IC) based measures for finding semantic similarity is gaining preferences day by day. Semantics of concepts can be highly characterized by information theory. The conventional way for calculating IC is based on the probability of appearance of concepts in corpora. Due to data sparseness and corpora dependency issues of those conventional approaches, a new corpora independent intrinsic IC calculation measure has evolved. In this paper, we mainly focus on such intrinsic IC model and several topological aspects of the underlying ontology. Accuracy of intrinsic IC calculation and semantic similarity measure rely on these aspects deeply. Based on these analysis we propose an information theoretic framework which comprises an intrinsic IC calculator and a semantic similarity model. Our approach is compared with state of the art semantic similarity measures based on corpora dependent IC calculation as well as intrinsic IC based methods using several benchmark data set. We also compare our model with the related Edge based, Feature based and Distributional approaches. Experimental results show that our intrinsic IC model gives high correlation value when applied to different semantic similarity models. Our proposed semantic similarity model also achieves significant results when embedded with some state of the art IC models including ours.

연구 동기 및 목표

• 기존의 의미 유사도를 위한 정보량(IC) 계산에서 데이터 희소성과 어휘집 의존성 문제를 해결하기 위해.
• WordNet의 구조적 특성에 기반한 외부 어휘집에 의존하지 않는 내재적 IC 모델을 개발하기 위해.
• 내재적 IC와 온톨로지의 구조적 특성을 통합하여 의미 유사도 측정의 정확도를 향상시키기 위해.
• 제안된 프레임워크를 최신의 IC 기반 및 비-IC 기반 의미 유사도 모델과 비교 평가하기 위해.
• Meng 등과 Pirró와 같은 다른 IC 모델과의 통합에서의 호환성과 뛰어난 성능을 입증하기 위해.

제안 방법

• 외부 어휘집에 의존하지 않고 WordNet의 계층적 구조에서 유래된 내재적 IC 계산 방법을 제안한다.
• 루트에서부터의 깊이, 조상 수, 경로 길이 등의 구조적 특성을 활용하여 내재적 IC 값을 계산한다.
• 표준 유사도 함수(예: Resnik, Lin, Jiang-Conrath)를 사용하여 내재적 IC 모델을 의미 유사도 프레임워크에 통합한다.
• 인간이 애너테이션한 유사도 점수를 포함한 벤치마크 데이터셋을 사용하여 다중 소스 평가 전략을 적용한다.
• 다양한 IC 계산 방법(Secco 등, Zhou 등, Sánchez 등, Meng 등, Qingbo 등)과 유사도 모델을 대상으로 프레임워크를 검증한다.
• 다양한 IC 및 유사도 모델 간의 금표준 데이터와의 상관관계를 비교하기 위해 통합된 평가 파이프라인을 적용한다.

실험 결과

연구 질문

• RQ1 단지 WordNet의 구조적 특성에 기반한 내재적 IC 모델이 의미 유사도 작업에서 어휘집 의존적 IC 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 내재적 IC 모델은 기존의 의미 유사도 측정 방법(예: Resnik, Lin, Jiang-Conrath)의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크는 최신의 IC 기반 및 비-IC 기반 모델과 비교해 금표준 데이터셋과 얼마나 높은 상관관계를 보이는가?
• RQ4 Meng 등 또는 Pirró와 같은 다른 IC 모델과 통합되었을 때 제안된 프레임워크의 강건성은 어떠한가?
• RQ5 내재적 IC 모델은 다양한 유사도 함수에 일반화되어 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 내재적 IC 모델은 Pirró 유사도 모델과 함께 사용했을 때 금표준 데이터와 0.71의 상관관계를 달성하며, 테스트된 모든 다른 IC 기반 모델보다 뛰어난 성능을 보였다.
• 자신의 유사도 모델을 사용할 경우, 금표준 데이터셋과 0.69의 상관관계를 기록하여 뛰어난 성능을 입증하였다.
• Meng 등의 IC 모델과 통합되었을 경우, 유사도 모델은 0.68의 상관관계를 기록하여 높은 호환성과 효과성을 입증하였다.
• 다양한 유사도 함수에 걸쳐 내재적 IC 모델은 어휘집 의존적 IC 방법보다 안정성과 일반화 능력 면에서 항상 뛰어난 성능을 보였다.
• 프레임워크는 기존의 IC 모델과 유사도 함수 모두와 높은 호환성을 보이며, 최상의 성능을 기록하였다.
• 제안된 방법은 평가된 모든 내재적 IC 기반 모델 중에서 가장 높은 상관관계(0.71)를 기록하여 의미 유사도 추정에서의 우월성을 확인하였다.