[论文解读] Combinatorial information distance

Joel Ratsaby|arXiv (Cornell University)|May 14, 2009

Algorithms and Data Compression参考文献 16被引用 3

一句话总结

该论文提出了一种新颖的组合信息距离 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $，其中 $ \delta(A,B) = \log_2(t(|B \cap \overline{A}| \cdot |A|)) $，用于衡量不同长度二进制字符串之间的差异。该距离基于集合论信息理论，在特定条件下满足三角不等式，提供了一种根植于柯尔莫哥洛夫复杂度和兰佩尔-齐夫原理的通用、领域无关的度量方法。

ABSTRACT

Let $|A|$ denote the cardinality of a finite set $A$. For any real number $x$ define $t(x)=x$ if $x\geq1$ and 1 otherwise. For any finite sets $A,B$ let $δ(A,B)$ $=$ $\log_{2}(t(|B\cap\bar{A}||A|))$. We define {This appears as Technical Report # arXiv:0905.2386v4. A shorter version appears in the {Proc. of Mini-Conference on Applied Theoretical Computer Science (MATCOS-10)}, Slovenia, Oct. 13-14, 2010.} a new cobinatorial distance $d(A,B)$ $=$ $\max\{δ(A,B),δ(B,A)\} $ which may be applied to measure the distance between binary strings of different lengths. The distance is based on a classical combinatorial notion of information introduced by Kolmogorov.

研究动机与目标

• 开发一种适用于二进制字符串之间的通用距离函数，无需依赖特定领域知识或对数据的先验假设。
• 将信息复杂度的概念从字符串扩展到子串集合，利用组合熵和集合投影。
• 定义一种对字符串长度差异不敏感且通过集合论信息度量捕捉结构差异的度量方法。
• 在非包含条件下建立所提距离的理论性质，如三角不等式。
• 为模式识别、生物信息学和信息检索应用提供一个最小化、通用的理论基础。

提出的方法

• 定义 $ \delta(A,B) = \log_2(t(|B \cap \overline{A}| \cdot |A|)) $，其中 $ t(x) = \max(x,1) $，以衡量有限集合 $ A $ 和 $ B $ 之间的信息距离。
• 通过 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $ 构建完整距离，确保对称性并增强对集合大小失衡的鲁棒性。
• 将二进制字符串 $ x $ 建模为 $ \mathbb{Y} $ 中的子串集合 $ M(x) \subseteq \mathbb{Y} $（例如 k-词或 n-gram），使用消除冗余的映射 $ M $。
• 应用距离 $ d(M(x), M(x')) $ 通过其集合表示比较字符串，实现对长度不等字符串的比较。
• 利用组合熵和基于投影的信息度量来定义集合间的信息含量和条件信息。
• 证明当任一集合不被严格包含于另一集合时，$ d $ 满足三角不等式，从而确立其作为字符串空间上的半度量。

实验结果

研究问题

• RQ1 能否仅基于组合信息理论定义一种适用于二进制字符串之间的通用、领域无关的距离？
• RQ2 如何衡量由不同长度字符串导出的子串集合之间的信息含量与差异性？
• RQ3 所提出的距离函数是否满足对称性和三角不等式等基本度量性质？
• RQ4 该组合距离与兰佩尔-齐夫复杂度等现有复杂度度量之间存在何种关系？
• RQ5 该距离能否在保持其度量和信息论性质的前提下实现归一化？

主要发现

• 所提距离 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $ 具有对称性，并且在任一集合不被严格包含于另一集合时满足三角不等式。
• 函数 $ \delta(A,B) $ 通过 $ B $ 与 $ A $ 的补集的交集的基数，经 $ |A| $ 缩放后，再经 $ t(x) $ 函数上限为 1 来定义。
• 该距离对字符串长度差异具有不变性，并通过集合论信息内容捕捉结构差异。
• 信息集距离 $ d_M(x,x') = d(M(x), M(x')) $ 在集合 $ M(x), M(x'), M(x'') $ 不严格嵌套时，是有限二进制字符串空间上的半度量。
• 该方法通过将字符串视为子串集合，并利用集合差来度量信息距离，从而推广了兰佩尔-齐夫复杂度。
• 该方法提供了一个无需预先了解数据领域知识的通用字符串比较框架，适用于生物信息学和信息检索等应用。