[論文レビュー] Combinatorial information distance

Joel Ratsaby|arXiv (Cornell University)|May 14, 2009

Algorithms and Data Compression参考文献 16被引用数 3

ひとこと要約

本稿では、長さの異なる2進文字列間の類似性を測るため、集合論的情報理論に基づく新しい組合せ的情報距離 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $ を提案する。ここで $ \delta(A,B) = \log_2(t(|B \cap \overline{A}| \cdot |A|)) $ である。この距離は、コルモゴロフ複雑度およびレムペル＝ツィヴの原則に根ざした普遍的でドメインに依存しない測度であり、特定の条件下で三角不等式を満たす。

ABSTRACT

Let $|A|$ denote the cardinality of a finite set $A$. For any real number $x$ define $t(x)=x$ if $x\geq1$ and 1 otherwise. For any finite sets $A,B$ let $δ(A,B)$ $=$ $\log_{2}(t(|B\cap\bar{A}||A|))$. We define {This appears as Technical Report # arXiv:0905.2386v4. A shorter version appears in the {Proc. of Mini-Conference on Applied Theoretical Computer Science (MATCOS-10)}, Slovenia, Oct. 13-14, 2010.} a new cobinatorial distance $d(A,B)$ $=$ $\max\{δ(A,B),δ(B,A)\} $ which may be applied to measure the distance between binary strings of different lengths. The distance is based on a classical combinatorial notion of information introduced by Kolmogorov.

研究の動機と目的

• データのドメインに特化した知識や事前の仮定を必要としない、2進文字列間の普遍的距離関数の開発を目的とする。
• 文字列から得られる部分文字列の集合への情報複雑度の概念を拡張し、組合せエントロピーと集合への射影を活用する。
• 文字列長の差に依存しない不変性を持ち、集合論的情報測度を用いて構造的類似性の違いを捉えるメトリックを定義すること。
• 集合が厳密に包含されない条件の下で、提案された距離が三角不等式を満たす理論的性質を確立すること。
• 最小限の普遍的フレームワークを用いて、パターン認識、バイオインフォマティクス、情報検索への応用の基盤を提供すること。

提案手法

• 有限集合 $ A $ と $ B $ 間の情報距離を測るため、$ \delta(A,B) = \log_2(t(|B \cap \overline{A}| \cdot |A|)) $ を定義する。ここで $ t(x) = \max(x,1) $ である。
• 対称性と集合サイズの不均衡に対するロバストネスを確保するため、距離を $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $ として構築する。
• 2進文字列 $ x $ を、$ \mathbb{Y} $ への部分文字列の集合 $ M(x) \subseteq \mathbb{Y} $ としてモデル化する（例：k-語やn-gram）。冗長性を排除する写像 $ M $ を用いる。
• 文字列の集合表現を用いて $ d(M(x), M(x')) $ を適用し、長さの異なる文字列間の比較を可能にする。
• 組合せエントロピーと射影に基づく情報測度を用いて、集合間の情報量と条件付き情報量を定義する。
• 集合が一方を厳密に含まない場合に限り、$ d $ が三角不等式を満たすことを証明し、文字列の空間上での半メトリックとしての性質を確立する。

実験結果

リサーチクエスチョン

• RQ1 組合せ的情報理論に基づいて、ドメインに依存しない普遍的距離を2進文字列間で定義できるか？
• RQ2 長さの異なる文字列から得られる部分文字列の集合間で、情報量と類似性をどのように測定できるか？
• RQ3 提案された距離関数が、対称性や三角不等式といった基本的なメトリック性質を満たすか？
• RQ4 この組合せ的距離と、レムペル＝ツィヴ複雑度のような既存の複雑度測度との関係は何か？
• RQ5 距離を正規化しても、そのメトリック的および情報理論的性質を保持できるか？

主な発見

• 提案された距離 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $ は対称的であり、集合が一方を厳密に含まない場合に三角不等式を満たす。
• 関数 $ \delta(A,B) $ は、$ B $ と $ A $ の補集合の共通部分の濃度に $ |A| $ を乗じ、$ t(x) $ 関数によって1以上にキャップした値の対数として定義される。
• 距離は文字列長の差に依存せず、集合論的情報含量を用いて構造的類似性の違いを捉える。
• 情報集合距離 $ d_M(x,x') = d(M(x), M(x')) $ は、集合 $ M(x), M(x'), M(x'') $ が厳密にネストされていない限り、有限2進文字列の空間上での半メトリックである。
• 文字列を部分文字列の集合として扱い、集合の差を用いて情報距離を測定することで、レムペル＝ツィヴ複雑度を一般化する。
• データドメインに関する事前の知識を必要とせず、バイオインフォマティクスや情報検索への応用に適した、普遍的で最小限のフレームワークを提供する。