[論文レビュー] Normalized Information Distance

Paul Vitányi, Frank J. Balbach+2 more|ArXiv.org|Sep 15, 2008

Algorithms and Data Compression参考文献 3被引用数 5

ひとこと要約

この論文は、コルモゴロフ複雑性に基づく普遍的な類似性測度である正規化情報距離（NID）を導入し、特徴量なし、パラメータなしのデータマイニングを可能にする。圧縮アルゴリズムとウェブページ数の近似手法を提案することで、バイオインフォマティクス、音楽、機械翻訳など多様な分野におけるクラスタリングや機械学習タスクへのNIDの適用を可能にする。

ABSTRACT

The normalized information distance is a universal distance measure for objects of all kinds. It is based on Kolmogorov complexity and thus uncomputable, but there are ways to utilize it. First, compression algorithms can be used to approximate the Kolmogorov complexity if the objects have a string representation. Second, for names and abstract concepts, page count statistics from the World Wide Web can be used. These practical realizations of the normalized information distance can then be applied to machine learning tasks, expecially clustering, to perform feature-free and parameter-free data mining. This chapter discusses the theoretical foundations of the normalized information distance and both practical realizations. It presents numerous examples of successful real-world applications based on these distance measures, ranging from bioinformatics to music clustering to machine translation.

研究の動機と目的

• すべての種類のオブジェクトに適用可能な理論的に普遍的な距離測度を確立すること。
• コルモゴロフ複雑性の非計算可能性に対処し、圧縮とウェブベースの統計を用いた実用的な近似を提案すること。
• 事前にドメイン固有の知識が不要な特徴量なし・パrameterなしのクラスタリングおよびデータマイニングを可能にすること。
• バイオインフォマティクスから音楽解析に至るまで、多様な実世界の応用においてNIDの有効性を示すこと。
• 手作業で特徴を設計するのではなく、情報理論的原則に基づく統一的な枠組みでオブジェクトを比較するためのフレームワークを提供すること。

提案手法

• gzip や bzip2 などの損失なし圧縮アルゴリズムを用いて、文字列のアルゴリズム的情報量を推定することで、コルモゴロフ複雑性を近似する。
• コルモゴロフ複雑性に基づく情報距離の正規化版として、正規化情報距離（NID）を定義する：NID(x,y) = max{C(x|y), C(y|x)} / max{C(x), C(y)}。
• 検索エンジンからのウェブページ数を用いて、名前や抽象的概念のアルゴリズム的確率を推定し、文字列以外のオブジェクトに対してもNIDの計算を可能にする。
• NIDメトリックをクラスタリングタスクに適用する際、無教師学習パイプラインにおける類似度測度として扱う。
• 圧縮に基づく近似を活用することで、NIDを計算可能かつ実世界のデータマイニング応用で利用可能にする。
• 多様なドメインにおける実応用を通じて、アプローチの妥当性を実証的に検証し、その方法の強固さと普遍性を示す。

実験結果

リサーチクエスチョン

• RQ1 すべての種類のデータオブジェクトに適用可能な普遍的な類似性測度を定義できるか、その性質や表現にかかわらず。
• RQ2 非計算可能なコルモゴロフ複雑性を、データ分析における実用的用途に効果的に近似する方法は何か。
• RQ3 圧縮アルゴリズムとウェブ統計が、アルゴリズム的情報量の信頼できる代理指標としてどれほど有効に機能するか。
• RQ4 特徴量設計やパrameterチューニングなしに、NIDに基づくクラスタリングが意味のある結果を達成できるか。
• RQ5 機械翻訳や系統系統樹の再構築など、バイオインフォマティクス、音楽、機械翻訳など多様な分野において、従来の手法と比較してNIDはどの程度の性能を示すか。

主な発見

• 正規化情報距離（NID）は、普遍的で理論的根拠を持つ類似性測度であり、ユニバーサルチューリングマシンの選択に依存しない。
• NIDの圧縮に基づく近似は、DNA配列解析や音楽ジャンル分類を含む実世界の応用において、効果的で強固なクラスタリング結果をもたらす。
• ウェブページ数統計を用いることで、名前や抽象的概念に対してもNIDの計算が可能になり、文字列に限らない応用範囲が拡張される。
• この方法により、ドメイン固有の知識や手作業による特徴量設計に依存しない、特徴量なし・パrameterなしのデータマイニングが実現される。
• 実証的結果から、機械翻訳評価や系統系統樹再構築などのタスクにおいて、NIDベースのクラスタリングが従来手法を上回るか、同等の性能を示すことが明らかになった。
• このアプローチはスケーラブルで実用的であり、バイオインフォマティクス、音楽、自然言語処理など多様な分野での成功した展開が確認された。