[논문 리뷰] Normalized Web Distance and Word Similarity

Rudi Cilibrasi, Paul Vitányi|ArXiv.org|2009. 05. 25.

Advanced Text Analysis Techniques참고 문헌 27인용 수 26

한 줄 요약

이 논문은 웹 검색 통계의 집합적 특성을 활용하여 압축이 필요 없는 실용적인 방법으로 단어 유사도를 측정하기 위해 정규화된 웹 거리(Normalized Web Distance, NWD)를 도입한다. 정보 이론적 거리를 근사하기 위해 검색 엔진에서의 검색 히트 수를 사용함으로써 NWD는 0에서 1 사이의 유사도 점수를 도출하며, 인간이 애너테이션한 의미 일치 기준(예: WordNet)과의 경험적 검증 결과 높은 일치도(평균 정확도 0.8725)를 보였다.

ABSTRACT

There is a great deal of work in cognitive psychology, linguistics, and computer science, about using word (or phrase) frequencies in context in text corpora to develop measures for word similarity or word association, going back to at least the 1960s. The goal of this chapter is to introduce the normalizedis a general way to tap the amorphous low-grade knowledge available for free on the Internet, typed in by local users aiming at personal gratification of diverse objectives, and yet globally achieving what is effectively the largest semantic electronic database in the world. Moreover, this database is available for all by using any search engine that can return aggregate page-count estimates for a large range of search-queries. In the paper introducing the NWD it was called `normalized Google distance (NGD),' but since Google doesn't allow computer searches anymore, we opt for the more neutral and descriptive NWD. web distance (NWD) method to determine similarity between words and phrases. It

연구 동기 및 목표

• 수동으로 구축된 지식 기반에 의존하지 않고, 단어와 어구 간의 의미 유사도를 측정하기 위한 확장 가능한 자동화된 방법을 개발하는 것.
• 비정형적이고 방대한 웹을 낮은 비용과 대규모 의미 기반 데이터베이스로 활용하여 단어 유사도를 계산하는 것.
• 자연어 처리에서 정렬 기반 또는 특징 설계 기반 방법의 계산 비용이 높은 대안을 제공하는 것.
• WordNet과 같은 인간이 애너테이션한 의미 유사도 기준과 비교하여 NWD 방법의 타당성을 검증하는 것.

제안 방법

• NWD는 웹 검색 엔진에서의 검색 히트 수를 사용하여 정보 이론적 확률의 대체 척도로 간주함으로써 단어 유사도를 계산한다.
• 정보 이론에서 유도된 정규화된 거리 공식을 적용하여, 웹 페이지 빈도를 사용해 콜모고로프 복잡도를 근사한다.
• 주요 구성 요소로는 개별 용어 빈도(P(x)), 동시 발생 빈도(P(x,y)), 그리고 전체 웹 크기 추정치(N)가 있으며, 이를 통해 정규화된 거리를 계산한다.
• NWD 공식은 다음과 같다: eG(x,y) = [max{log P(x), log P(y)} - log P(x,y)] / [max{log P(x), log P(y)}] (x와 y는 용어이다).
• 기본 참조 용어 집합에 대해 새로운 단어를 비교하기 위해 앵커 용어와 벡터화 기법을 사용하며, 반복적인 쿼리에 대해 캐싱을 적용하여 효율성을 높인다.
• 방법은 NWD 기반 분류 결과를 인간이 애너테이션한 의미 일치 기준과 비교한 랜덤화된 시험을 통해 검증된다.

실험 결과

연구 질문

• RQ1 웹 검색 통계가 단어 간 의미 유사도를 신뢰할 수 있고 확장 가능한 대체 척도로 기능할 수 있는가?
• RQ2 NWD 기반의 유사도는 WordNet과 같이 인간이 애너테이션한 의미 유사도와 얼마나 잘 일치하는가?
• RQ3 색인된 웹 코퍼스 크기가 변화할 경우 NWD 방법은 안정성을 유지하는가?
• RQ4 수동적인 특징 설계 없이 NWD는 자동 분류 작업에서 효과적으로 활용될 수 있는가?

주요 결과

• NWD 방법은 인간이 애너테이션한 의미 일치 기준과의 유사도 분류에서 평균 정확도 0.8725를 달성하여 인간의 판단과 강한 일치를 보였다.
• 반으로 줄어든 웹 색인을 테스트한 결과, 'horse'와 'rider'의 NWD 점수는 0.443에서 0.460으로 약간 변화하여 코퍼스 크기 변동에 대해 강건함을 입증했다.
• 100회의 랜덤화된 시험에서 표준편차 약 0.1169를 보이며 높은 일관성을 보였고, 이는 성능이 75% 이하로 떨어지는 경우가 거의 없음을 의미한다.
• 쿼리 캐싱 덕분에 100회의 실험 동안 총 웹 검색 횟수를 49,600회로 줄여 계산 효율성을 입증했다.
• 삼각 부등식을 만족하지 않기 때문에 진정한 거리 측정법은 아니지만, 상대적 의미를 올바르게 포착한다. 예를 들어 'man'과 'centaur'는 가까운 편이며, 'centaur'와 'horse' 역시 가까운 편이지만, 'man'과 'horse'는 거리가 먼 편이다.