[논문 리뷰] Google distance between words

Bjørn Kjos-Hanssen, Alberto J. Evangelista|arXiv (Cornell University)|2009. 01. 27.

Computability, Logic, AI Algorithms참고 문헌 2인용 수 15

한 줄 요약

이 논문은 Cilibrasi와 Vitányi의 정규화 구글 거리(NGD)에 심각한 결함이 있음을 밝혀내며, 이가 거리 공간의 기본 성질인 삼각 부등식을 위반한다는 점을 입증한다. 구글 검색 빈도 데이터와 시뮬레이티드 어닐링을 활용하여, 'Rolling Stones', 'Beatles', 'salmonflies'와 같은 예시에서 NGD가 삼각 부등식을 충족하지 못함을 보이며, 이는 의미 유사도 응용 분야에서 NGD가 진정한 거리 측정법으로서의 타당성을 훼손한다.

ABSTRACT

Cilibrasi and Vitanyi have demonstrated that it is possible to extract the meaning of words from the world-wide web. To achieve this, they rely on the number of webpages that are found through a Google search containing a given word and they associate the page count to the probability that the word appears on a webpage. Thus, conditional probabilities allow them to correlate one word with another word's meaning. Furthermore, they have developed a similarity distance function that gauges how closely related a pair of words is. We present a specific counterexample to the triangle inequality for this similarity distance function.

연구 동기 및 목표

• 정규화 구글 거리(NGD)가 단어 유사도를 위한 거리 측정법으로서 이론적이고 경험적으로 타당한지 평가하기.
• NGD가 거리 함수의 핵심 조건인 삼각 부등식을 만족하는지 조사하기.
• 실제 웹 검색 데이터를 활용하여 NGD가 삼각 부등식을 위반하는 반례를 식별하고 검증하기.
• NGD 응용 분야에서 이러한 위반 사례가 얼마나 자주 발생하고, 어떤 영향을 미치는지 평가하기.
• 전체 코퍼스 크기 M에 의존하지 않고 삼각 부등식을 만족하는 더 견고한 대체 거리 측정법을 제안하기.

제안 방법

• 저자들은 표준 공식을 사용해 NGD를 계산한다: NGD(x,y) = [max{log f(x), log f(y)} - log f(x,y)}] / [log M - min{log f(x), log f(y)}], 여기서 f(x)는 단어 x에 대한 구글 검색 히트 수이며 M은 색인된 웹 페이지 총수이다.
• 삼각 부등식의 검증을 위해 삼각 차이 TD = NGD(x,y) + NGD(y,z) - NGD(x,z)를 사용하며, 삼각 부등식이 성립하면 TD ≥ 0이 되어야 한다.
• 다양한 단어 조합, 특히 'Rolling Stones', 'Beatles', 'salmonflies'와 같은 주제별 조합을 포함한 여러 조합에서 경험적 평가를 수행하여 위반 여부를 탐지한다.
• 시뮬레이티드 어닐링 알고리즘을 사용해 삼중조의 단어를 반복적으로 교체함으로써 NGD 위반을 찾는다.
• NGD와 대조적으로, 삼각 부등식을 만족하는 것으로 증명된 정규화 대칭집합차이 거리 측정법 d(A,B) = P(Ā ∪ B̄ | A ∪ B)를 비교한다.
• 이항 모델을 사용해 상한 추정치를 산정하기 위해 통계적 신뢰구간을 적용하였으며, 표본 수 n=50, 관측 위반 수 X=0이다.

실험 결과

연구 질문

• RQ1 실제로 정규화 구글 거리(NGD)가 삼각 부등식을 만족하는가?
• RQ2 웹 검색 데이터에서 추출한 실제 단어 삼중조에서 NGD 위반은 얼마나 자주 발생하는가?
• RQ3 검색 빈도 데이터를 활용해 NGD의 삼각 부등식 위반에 대한 반례를 체계적으로 식별할 수 있는가?
• RQ4 NGD가 삼각 부등식을 만족하지 못함으로써 의미 유사도 및 자연어 처리 응용 분야에서의 사용에 어떤 영향을 미치는가?
• RQ5 고정된 코퍼스 크기 M에 의존하지 않고 삼각 부등식을 만족하는 더 견고한 거리 측정법을 구성할 수 있는가?

주요 결과

• NGD 거리 측정법은 'Rolling Stones', 'Beatles', 'salmonflies'와 같은 단어 조합에서 반례를 통해 삼각 부등식을 위반함을 입증하였다. 즉, NGD(Rolling Stones, salmonflies) = 1.06 > NGD(Rolling Stones, Beatles) + NGD(Beatles, salmonflies) = 0.23 + 0.81 = 1.04이다.
• 시뮬레이티드 어닐링을 통해 단어를 반복적으로 교체함으로써 위반 사례를 찾는 방식으로 반례를 발견하였으며, 이는 이러한 실패가 무작위 이상 현상이 아니라는 점을 확인한다.
• COCA 코퍼스에서 50개의 표본 삼중조를 분석한 결과, NGD 위반은 약 1/200의 비율로 발생하며, 위반 확률에 대한 95% 신뢰구간 상한은 p ≤ 1/16로 추정된다.
• 다양한 단어 조합에서 NGD의 기대값은 약 0.73이며, 표준편차는 0.14로 나타나, NGD 이론적 유도 과정에서 가정한 바와 같이 랜덤 단어 쌍이 상호 독립적이지 않다는 점을 시사한다.
• 정규화된 대칭집합차이 거리 측정법 d(A,B) = P(Ā ∪ B̄ | A ∪ B)는 삼각 부등식을 만족하며, 전역 코퍼스 크기 M이 필요로 하지 않아 더 이론적으로 타당한 대안으로서의 잠재력을 지닌다.
• COCA에서 10개의 삼중조를 경험적으로 분석한 결과, 특정한 문제 상황이 드러났다. 예를 들어, 'burnished'가 'growth'와 함께 검색될 경우 단독으로 검색될 때보다 더 많은 결과를 내보내며, 이는 공시현상 패tern의 비단조화성(비단조화성)을 시사한다.