[논문 리뷰] A Semantic Relatedness Measure Based on Combined Encyclopedic, Ontological and Collocational Knowledge

Yannis Haralambous, Vitaly Klyuev|arXiv (Cornell University)|2011. 07. 24.

Natural Language Processing Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 위키백과 기반의 명시적 의미 분석(ESA), 워드넷 기반의 경로 유사도, 그리고 혼합 어울림 지수를 통합하여 의미 유사도 작업 성능을 향상시키는 새로운 의미 유사도 측정 방법을 제안한다. 병합된 접근 방식은 WS-353 벤치마크에서 스피어만의 ρ를 0.79로 기록하며 이전 최고 성능을 초월하며, 다항식 SVM 분류기로 개선된 결과는 0.87에 이를 정도로 다중 지식 소스 융합이 의미 유사도 모델링에 효과적임을 보여준다.

ABSTRACT

We describe a new semantic relatedness measure combining the Wikipedia-based Explicit Semantic Analysis measure, the WordNet path measure and the mixed collocation index. Our measure achieves the currently highest results on the WS-353 test: a Spearman rho coefficient of 0.79 (vs. 0.75 in (Gabrilovich and Markovitch, 2007)) when applying the measure directly, and a value of 0.87 (vs. 0.78 in (Agirre et al., 2009)) when using the prediction of a polynomial SVM classifier trained on our measure. In the appendix we discuss the adaptation of ESA to 2011 Wikipedia data, as well as various unsuccessful attempts to enhance ESA by filtering at word, sentence, and section level.

연구 동기 및 목표

• 분포적 공출현 외의 다양한 의미 관계를 포착하지 못하는 기존 의미 유사도 측정 방법, 특히 ESA의 한계를 해결한다.
• 의미 유사도 평가의 표준으로 여겨지는 WS-353 벤치마크에서 성능을 향상시키기 위해 다양한 지식 소스를 통합한다.
• 특히 동의어 관계, 하위개념 관계, 고정어구와 같은 경우에서 ESA의 한계를 옹오로지컬 및 어울림 지식을 통합함으로써 보완한다.
• 백과사전(ESA), 옹오로지컬(워드넷), 어울림 지식을 융합한 다중 지식 소스 통합이 고립된 접근 방식보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• tf-idf 가중 단어 벡터를 사용하여 2011년도 위키백과 데이터에 대해 명시적 의미 분석(ESA)을 적용하여 개념을 주제 벡터로 표현하고, 단어 벡터 간 코사인 유사도를 계산한다.
• 옹오로지컬 유사도 측정으로 워드넷 기반의 경로 유사도(WNP)를 통합하며, 각 단어 쌍에 대해 가능한 모든 싱세트 쌍에서의 최대 유사도를 사용한다.
• 분포적 통계에 충분히 반영되지 않는 고정어구와 어휘 어울림을 포착하기 위해 혼합 어울림 지수를 통합한다.
• ESA, WNP, 어울림 지수의 세 요소를 가중 평균 또는 앙상블 학습을 통해 통합된 의미 유사도 점수로 융합한다.
• 원시 병합 점수를 기반으로 다항식 SVM 분류기를 훈련시켜 순위 성능를 더욱 정교하게 개선하고, 인간 평가와의 상관관계를 높인다.
• 2011년도 위키백과에서 ESA 성능을 최적화하기 위해 최소 용어 수 및 링크 수 기준(200개 용어, 14개 링크)을 설정하여 저품질 페이지를 필터링함으로써 성능을 2005년 수준으로 복원한다.

실험 결과

연구 질문

• RQ1 백과사전, 옹오로지컬, 어울림 지식을 융합하면 표준 벤치마크에서 의미 유사도 성능을 크게 향상시킬 수 있는가?
• RQ2 기존 방법들, 예를 들어 ESA가 WS-353 단어 쌍에서 실패하는 이유는 무엇이며, 어떤 의미 관계가 누락되는가?
• RQ3 워드넷 기반 경로 측정과 어울림 지수는 분포적 의미론이 동의어, 하위개념 관계, 고정어구를 포착하는 데 얼마나 보완적인가?
• RQ4 훈련된 SVM 분류기를 통한 후처리가 병합된 의미 유사도 측정의 순위 품질을 더욱 향상시키는가?
• RQ5 위키백과의 진화(예: 2005년에서 2011년으로)는 ESA 성능에 어떤 영향을 미치며, 개념 필터링을 통해 이를 보완할 수 있는가?

주요 결과

• 제안된 병합된 의미 유사도 측정 방법은 직접 적용했을 때 WS-353 테스트 세트에서 스피어만의 ρ를 0.79로 기록하며 이전 최고 성능인 0.75를 초월한다.
• 측정 결과의 출력을 기반으로 훈련된 다항식 SVM 분류기를 통합한 결과, 스피어만의 ρ가 0.87로 향상되어 이전 최고 성능인 0.78를 초월한다.
• 2011년도 위키백과 데이터에서 ESA 성능은 개념 수 증가와 용어 밀도 감소로 인해 일시적으로 0.7047로 하락했으나, 용어 수 200개 이하이거나 인bound/outbound 링크 수 14개 이하인 페이지를 필터링함으로써 0.7394로 복원되었다.
• 단어 수준의 어형 통일 및 품사 품질 필터링은 성능을 떨어뜨렸다(0.7194 및 0.7178로 감소), 이는 이 작업에 대해 포터 스테밍이 어형 통일보다 더 효과적임을 시사한다.
• 문장 수준의 가중치 3배 증가 및 섹션 수준의 필터링(예: '역사' 섹션 제거) 모두 성능 저하를 초래했다(각각 0.7293 및 0.6608), 이는 이러한 필터링 전략이 이 작업에 유익하지 않음을 나타낸다.
• 이 연구는 용어 밀도와 개념 품질이 ESA 성능에 결정적인 영향을 미치며, 저품질 위키백과 페이지의 전략적 제거를 통해 성능을 복원할 수 있음을 확인한다.