[논문 리뷰] Normalized Information Distance

Paul Vitányi, Frank J. Balbach외 2명|ArXiv.org|2008. 09. 15.

Algorithms and Data Compression참고 문헌 3인용 수 5

한 줄 요약

이 논문은 콜모고로프 복잡도에 기반한 보편적인 유사도 측정 기준인 정규화된 정보 거리(NID)를 소개한다. 이는 특징 없이, 파rameter 없이 다양한 도메인에서 데이터 마이닝을 가능하게 한다. 압축 알고리즘과 웹 페이지 수를 활용한 실용적 근사치를 제안하여 NID를 생물정보학, 음악, 기계 번역 등 다양한 분야의 군집화 및 기계 학습 작업에 적용한다.

ABSTRACT

The normalized information distance is a universal distance measure for objects of all kinds. It is based on Kolmogorov complexity and thus uncomputable, but there are ways to utilize it. First, compression algorithms can be used to approximate the Kolmogorov complexity if the objects have a string representation. Second, for names and abstract concepts, page count statistics from the World Wide Web can be used. These practical realizations of the normalized information distance can then be applied to machine learning tasks, expecially clustering, to perform feature-free and parameter-free data mining. This chapter discusses the theoretical foundations of the normalized information distance and both practical realizations. It presents numerous examples of successful real-world applications based on these distance measures, ranging from bioinformatics to music clustering to machine translation.

연구 동기 및 목표

• 모든 종류의 객체에 적용 가능한 이론적으로 보편적인 거리 측정 기준을 수립하는 것.
• 코모고로프 복잡도의 계산 불가능성을 해결하기 위해 압축 및 웹 기반 통계를 활용한 실용적 근사치를 제안하는 것.
• 사전 도메인 지식이 없이도 특징 없이, 파rameter 없이 군집화 및 데이터 마이닝을 가능하게 하는 것.
• 생물정보학에서 음악 분석에 이르기까지 다양한 실제 응용 분야에서 NID의 효과성을 입증하는 것.
• 수작업 특징이 아닌 정보 이론적 원리에 기반한 통합 프레임워크를 제공하는 것.

제안 방법

• 문자열의 알고리즘적 정보량을 추정하기 위해 손실 없는 압축 알고리즘(gzip, bzip2 등)을 사용해 코모고로프 복잡도를 근사화하는 것.
• 코모고로프 복잡도에 기반한 정보 거리의 정규화된 형태인 정규화된 정보 거리(NID)를 정의: NID(x,y) = max{C(x|y), C(y|x)} / max{C(x), C(y)}.
• 검색 엔진에서의 웹 페이지 수를 활용해 이름과 추상적 개념의 알고리즘적 확률을 추정함으로써, 문자열 외의 객체에 대한 NID 계산을 가능하게 하는 것.
• 비지도 학습 파이프라인에서 유사도 측정 기준으로서 NID를 군집화 작업에 적용하는 것.
• 압축 기반 근사치를 활용해 NID를 계산 가능하고 실제 데이터 마이닝 응용에 활용 가능한 형태로 만드는 것.
• 다양한 도메인에서의 실증적 응용을 통해 이론적 타당성과 보편성을 검증하는 것.

실험 결과

연구 질문

• RQ1 모든 종류의 데이터 객체에 적용 가능한 보편적인 유사도 측정 기준을 정의할 수 있는가? 이는 객체의 성격이나 표현 방식에 관계없이 적용 가능한가?
• RQ2 계산이 불가능한 코모고로프 복잡도를 실용적인 데이터 분석에 활용하기 위해 효과적으로 어떻게 근사화할 수 있는가?
• RQ3 압축 알고리즘과 웹 통계가 알고리즘적 정보량의 신뢰할 수 있는 대체 측정 기준으로서 얼마나 유용한가?
• RQ4 특징 공학이나 파rameter 조정 없이도 NID 기반 군집화가 의미 있는 결과를 도출할 수 있는가?
• RQ5 기존 방법과 비교해 생물정보학, 음악, 기계 번역 등 다양한 도메인에서 NID는 어떻게 성능을 발휘하는가?

주요 결과

• 정규화된 정보 거리는 보편적이고 이론적으로 타당한 유사도 측정 기준을 제공하며, 보편적 튜링 기계의 선택에 관계없이 불변이다.
• 압축 기반 근사치를 통한 NID는 DNA 서열 분석 및 음악 장르 분류와 같은 실제 응용에서 효과적이고 강건한 군집화 결과를 도출한다.
• 웹 페이지 수 통계를 활용하면 이름과 추상적 개념에 대한 NID 계산이 가능해져, 문자열 외의 객체로의 적용 범위를 넓힌다.
• 이 방법은 특징 없이, 파rameter 없이 데이터 마이닝을 수행할 수 있어 도메인 특화 지식과 수작업 특징 공학에 대한 의존도를 감소시킨다.
• 실증 결과는 NID 기반 군집화가 기계 번역 평가 및 계통수 재구성과 같은 과제에서 기존 방법과 견줄 만하거나 그 이상의 성능을 보임을 입증한다.
• 이 방법은 확장 가능하고 실용적이며, 생물정보학, 음악, 자연어 처리 등 다양한 도메인에서 성공적으로 구현된 바가 있다.