[논문 리뷰] Similarity-Based Models of Word Cooccurrence Probabilities

Ido Dagan, Lillian Lee외 1명|ArXiv.org|1998. 09. 27.

Topic Modeling참고 문헌 33인용 수 70

한 줄 요약

이 논문은 분포적 유사도를 사용하여 자연어 처리에서 알려지지 않은 단어 공현 확률을 추정하는 유사도 기반 모델을 제안한다. 기존 빈도에서 일반화하여 백오프 언어 모델을 향상시키며, 가짜 단어 의미 해석 문제 해결에서 최대 40% 향상되고, 알려지지 않은 이항어미에 대해 20%의 퍼플렉서티 감소 및 통계적으로 유의미한 음성 인식 오류 감소를 달성한다.

ABSTRACT

In many applications of natural language processing (NLP) it is necessary to determine the likelihood of a given word combination. For example, a speech recognizer may need to determine which of the two word combinations ``eat a peach'' and ``eat a beach'' is more likely. Statistical NLP methods determine the likelihood of a word combination from its frequency in a training corpus. However, the nature of language is such that many word combinations are infrequent and do not occur in any given corpus. In this work we propose a method for estimating the probability of such previously unseen word combinations using available information on ``most similar'' words. We describe probabilistic word association models based on distributional word similarity, and apply them to two tasks, language modeling and pseudo-word disambiguation. In the language modeling task, a similarity-based model is used to improve probability estimates for unseen bigrams in a back-off language model. The similarity-based method yields a 20% perplexity improvement in the prediction of unseen bigrams and statistically significant reductions in speech-recognition error. We also compare four similarity-based estimation methods against back-off and maximum-likelihood estimation methods on a pseudo-word sense disambiguation task in which we controlled for both unigram and bigram frequency to avoid giving too much weight to easy-to-disambiguate high-frequency configurations. The similarity-based methods perform up to 40% better on this particular task.

연구 동기 및 목표

• 통계적 자연어 처리에서의 자료 부족 문제를 해결하기 위해 알려지지 않은 단어 공현 확률을 추정한다.
• 단어 유사도를 사용하여 알려진 공현 빈도에서 일반화할 수 있는 방법을 개발한다.
• 유사도 기반 모델을 언어 모델링 및 가짜 단어 의미 해석 작업에 대해 평가한다.
• 통제된 환경에서 유사도 기반 추정법을 백오프 및 최대우도 추정법과 비교한다.
• 다양한 유사도 측정법이 희귀 또는 알려지지 않은 단어 쌍의 확률 추정을 향상시키는 데 얼마나 효과적인지 조사한다.

제안 방법

• 직접적인 빈도 수세기 대신 분포적 단어 유사도를 사용하여 알려지지 않은 단어 공현 확률을 추정한다.
• 백오프 언어 모델 프레임워크 내에서 유사도 기반 확률 추정을 적용하여 알려지지 않은 이항어미 예측을 향상시킨다.
• 코사인, 다이스, 재칼라, 젠센-섀논 발산의 네 가지 유사도 측정법을 단어 공현 분포에 적용한다.
• 다른 단어와의 공현 패턴을 기반으로 단어 유사도를 모델링하며, 각 단어를 자체 '유사 단어 클래스'로 간주한다.
• 유사도에 따라 가중치가 부여된 가장 유사한 단어 집합과 연결된 소프트 근접 이웃 접근법을 사용한다.
• 독립성 가정에 의존하지 않도록 유사도 기반 추정치를 확률 모델에 통합한다.

실험 결과

연구 질문

• RQ1 언어 모델에서 알려지지 않은 단어 공현에 대해 단어 유사도를 사용하여 확률 추정을 향상시킬 수 있는가?
• RQ2 예를 들어 코사인, JSD와 같은 다양한 유사도 측정법이 알려지지 않은 이항어미 확률 추정에 어떻게 비교되는가?
• RQ3 유사도 기반 모델은 백오프 모델 대비 퍼플렉서티와 음성 인식 오류를 얼마나 줄이는가?
• RQ4 통제된 의미 해석 작업에서 유사도 기반 방법은 최대우도 추정 및 백오프 추정 대비 어떻게 성능을 내는가?
• RQ5 유사도 기반 추정은 이항어미를 초월해 낮은 빈도 또는 알려지지 않은 구성에 효과적으로 일반화할 수 있는가?

주요 결과

• 백오프 언어 모델에서 알려지지 않은 이항어미에 대해 유사도 기반 모델이 퍼플렉서티를 20% 감소시켰으며, 음성 인식 오류에 통계적으로 유의미한 향상이 있었다.
• 가짜 단어 의미 해석 작업에서, 유사도 기반 방법은 백오프 및 최대우도 추정을 최대 40% 향상시켰다.
• 젠센-섀논 발산 기반 유사도 측정법이 모든 작업과 파rameter 설정에서 가장 우수한 성능을 보였다.
• 표준 테스트 세트에서 알려지지 않은 사건의 비율이 상대적으로 작음에도 불구하고 유의미한 향상이 이루어져 희귀 구성에 대한 강력한 일반화 능력을 보였다.
• 유사도 기반 모델은 더 긴 문맥 언어 모델링에 있어서 잠재력을 보였지만, 유사도 검색 공간이 커짐에 따라 계산 비용이 증가하였다.
• 해결책 기반의 유사도 접근법은 강력한 경험적 성능를 보였지만, 클래스 기반 모델에 비해 이론적 기반은 부족하다.