[논문 리뷰] Normalized Google Distance of Multisets with Applications

Andrew R. Cohen, Paul Vitányi|arXiv (Cornell University)|2013. 08. 14.

Computability, Logic, AI Algorithms참고 문헌 18인용 수 5

한 줄 요약

이 논문은 웹 검색 빈도를 사용하여 다중집합의 검색어 간 공통된 의미적 유사성을 캡처하는 정규화된 구글 거리(NGD)를 도입한다. 이는 쌍별 NGD를 다중어휘 다중집합으로 확장하여 의미적 유사성 측정을 향상시킨다. Google API 또는 Bing을 통한 웹 인터페이스를 사용할 경우, 특히 분류 작업(예: 분류 체계 그룹화 및 정치 후보자 군집화)에서 쌍별 NGD보다 뛰어난 성능을 보인다.

ABSTRACT

Normalized Google distance (NGD) is a relative semantic distance based on the World Wide Web (or any other large electronic database, for instance Wikipedia) and a search engine that returns aggregate page counts. The earlier NGD between pairs of search terms (including phrases) is not sufficient for all applications. We propose an NGD of finite multisets of search terms that is better for many applications. This gives a relative semantics shared by a multiset of search terms. We give applications and compare the results with those obtained using the pairwise NGD. The derivation of NGD method is based on Kolmogorov complexity.

연구 동기 및 목표

• 쌍별 정규화된 구글 거리(NGD)를 의미적 유사성 측정 향상을 위해 다중집합의 검색어로 확장한다.
• 웹 검색 빈도 기반의 계산 가능하고 파rameter가 없는 유사성 측정법을 개발하여 다중어휘 간 공통된 의미를 포괄한다.
• 쌍별 NGD가 그룹의 구조를 포착하지 못하는 실제 분류 작업에서의 성능을 평가한다.
• 다중집합 NGD를 쌍별 NGD, Bing, Google n-gram과 비교하여 정확성 및 내구성 측면에서 평가한다.

제안 방법

• 다음과 같은 다중집합 NGD를 제안한다: $ NGD(X) = \frac{\max_{x \in X} \log f(x) - \log f(x_1, \dots, x_n)}{\log N - \min_{x \in X} \log f(x)} $, 여기서 $ f(x) $는 어휘 $ x $를 포함하는 페이지 수, $ f(x_1, \dots, x_n) $는 모든 어휘를 포함하는 페이지 수, $ N $은 색인된 총 페이지 수이다.
• 어휘 빈도의 집계 수치를 취득하기 위해 월드 와이드 웹과 Google(또는 다른 검색 엔진)를 대규모 데이터베이스로 사용한다.
• 유한한 다중집합의 어휘 간 유사성 점수를 계산하기 위해 다중집합 NGD를 적용하여 그들의 집합적 의미적 유사성을 표현한다.
• 스펙트럴 군집화와 갭 통계를 사용하여 데이터의 그룹 구조를 검증하고, 쌍별 NGD 및 다른 검색 엔진과 결과를 비교한다.
• Google API, Google 웹 사용자 인터페이스(WUI), Bing, Google n-gram을 사용하여 플랫폼 간 내구성과 성능을 평가한다.
• 코모고로프 복잡도와 정보 거리의 이론적 성질을 활용하여 방법의 타당성을 검증하고, 데이터 크기가 증가함에 따라 보편 분포로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 정규화된 구글 거리를 쌍별 어휘에서 다중집합 어휘로 의미적으로 유의미하게 확장하여 집합적 의미적 유사성을 캡처할 수 있는가?
• RQ2 생물학적 분류나 정치 후보자와 같은 복잡한 데이터를 분류할 때 다중집합 NGD는 쌍별 NGD보다 어떻게 비교되는가?
• RQ3 검색 엔진(구글 대비 빙) 또는 인터페이스(Google API 대비 WUI) 선택이 다중집합 기반 분류의 정확성에 유의미한 영향을 미치는가?
• RQ4 실제로 다중집합 NGD는 삼각 부등식과 같은 거리 성질을 얼마나 잘 유지하거나 위반하는가?
• RQ5 예를 들어 척추동물 하위군 또는 정당 소속과 같은 알려진 그룹이 있는 데이터셋에서 다중집합 NGD는 얼마나 잘 성능을 내는가?

주요 결과

• 다중집합 NGD는 12개의 척추동물 하위군(파충류, 포유류, 조류, 어류)을 모두 정확히 해당 분류군으로 분류하였다.
• 미국 2008년 예비 선거 후보자 데이터셋에서 다중집합 NGD는 12명의 후보자 중 11명을 정확히 분류하였으며, 론 폴은 데모크래트로 잘못 분류되었다—이유는 라이버탈리스트 성향 때문일 것이다.
• 분류학 데이터에서 갭 통계를 사용한 쌍별 NGD는 오직 하나의 그룹만 선택한 반면, 다중집합 NGD는 전역 최대값으로 네 개의 그룹을 정확히 식별하였다.
• 스펙트럴 군집화를 통해 다중집합 NGD는 분류학 및 예비 후보자 데이터셋 모두에서 완벽한 분류를 달성하였고, 반면 쌍별 NGD는 정당 간 분리가 효과적으로 이루어지지 않았다.
• 모든 다중집합 분류 작업에서 Google API가 Google WUI 및 Bing보다 뛰어난 성능을 보였으며, Bing의 성능은 상당히 열 劣하였다.
• 다중집합 NGD는 이론적으로 비거리수치성일 수 있음에도 불구하고 실질적으로 삼각 부등식을 위반하지 않았고, 데이터 크기가 증가함에 따라 보편 분포로 수렴하는 경향을 보였다.