[논문 리뷰] Calculating the similarity between words and sentences using a lexical database and corpus statistics

Atish Pawar, Vijay Mago|arXiv (Cornell University)|2018. 02. 15.

Topic Modeling참고 문헌 18인용 수 63

한 줄 요약

본 논문은 WordNet과 도메인 특화 코퍼스 통계를 활용하여 단어 및 문장 유사도를 계산하는 에지 기반 의미적 유사도 방법을 제안하고, 표준 벤치마크에서 높은 상관도(Pearson ~0.8753 단어, ~0.8794 문장)를 달성한다.

ABSTRACT

Calculating the semantic similarity between sentences is a long dealt problem in the area of natural language processing. The semantic analysis field has a crucial role to play in the research related to the text analytics. The semantic similarity differs as the domain of operation differs. In this paper, we present a methodology which deals with this issue by incorporating semantic similarity and corpus statistics. To calculate the semantic similarity between words and sentences, the proposed method follows an edge-based approach using a lexical database. The methodology can be applied in a variety of domains. The methodology has been tested on both benchmark standards and mean human similarity dataset. When tested on these two datasets, it gives highest correlation value for both word and sentence similarity outperforming other similar models. For word similarity, we obtained Pearson correlation coefficient of 0.8753 and for sentence similarity, the correlation obtained is 0.8794.

연구 동기 및 목표

• 어휘 데이터베이스 구조와 코퍼스 통계를 결합하여 의미적 유사도 측정을 향상시키다.
• 단어 의미 구분을 수행하여 유사도 계산의 정확성을 향상시키다.
• 단어 수준의 유사도와 문장 구조를 통합하여 강건한 문장 유사도 측정치를 형성하다.
• 정보 함량과 코퍼스 기반 통계를 통해 도메인 적응성을 입증하다.

제안 방법

• WordNet을 사용하여 최단 경로 거리와 계층 정보에 지수적 감소 함수를 적용해 단어 유사도를 계산한다.
• 비교에 적합한 의미집합(synsets)을 선택하기 위해 단어 의미 구분(최대값 유사도)을 적용한다.
• 계층적 거리 스케일링을 통해 하위어/상위어(hypernymy)를 도입하고 이는 쌍곡 함수 g(h)로 조정한다.
• 도메인 코퍼스의 단어 정보 함량을 선택적으로 포함시켜 측정치를 도메인 특화로 만든다.
• 문장을 단어를 맞춰 정렬하고 유사도에 대한 벡터 크기를 계산하여 문장용 동적 의미 벡터를 형성한다.
• 벤치마크 유사도 값을 기반으로 제타 정규화를 도입하여 최종 문장 유사도를 스케일링한다.
• 필요할 때 통사적 배열을 고려하는 선택적 단어 순서 유사도 구성요소를 제공한다.

실험 결과

연구 질문

• RQ1 WordNet 기반의 에지 거리와 코퍼스 통계를 결합하여 단어 유사도를 더 정확하게 측정하는 방법은 무엇인가?
• RQ2 고정 어휘 집합 접근법을 넘어 동적이고 도메인 적응된 의미 표현이 문장 유사도에 어떤 개선을 가져오는가?
• RQ3 단어 의미 구분이 이 프레임워크의 단어 및 문장 유사도 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 Rubenstein & Goodenough 벤치마크와 평균 인간 유사도 데이터셋에 대해 어떻게 수행하는가?

주요 결과

• Word 유사도가 Rubenstein & Goodenough 벤치마크에서 Pearson 상관도 0.8753을 달성한다.
• 동일 벤치마크에서 문장 유사도가 0.8794의 상관도를 달성한다.
• 이 방법은 표준 벤치마크와 평균 인간 유사도 데이터셋에서 다수의 이전 모델을 능가한다.
• 도메인 특화 코퍼스 통계와의 통합 시 접근법의 강건성이 입증된다.