[論文レビュー] Information Distance Revisited

Bruno Bauwens|arXiv (Cornell University)|Jul 29, 2018

Computability, Logic, AI Algorithms参考文献 9被引用数 1

ひとこと要約

この論文はアルゴリズム的情報理論における情報距離を再検討し、以前の主張とは異なり、前綴バージョンの情報距離が O(1) の精度で max(K(x|y), K(y|x)) に等しくないことを示している。代わりに、距離が対数的以上である場合を除き、差は無限大に達する。その場合、同じ長さの文字列に対しては O(1) の精度で等価となる。

ABSTRACT

We consider the notion of information distance between two objects x and y introduced by Bennett, Gács, Li, Vitanyi, and Zurek [1] as the minimal length of a program that computes x from y as well as computing y from x, and study different versions of this notion. It was claimed by Mahmud [11] that the prefix version of information distance equals max(K(x|y), K(y|) + O(1) (this equality with logarithmic precision was one of the main results of the paper by Bennett, Gács, Li, Vitanyi, and Zurek). We show that this claim is false, but does hold if the information distance is at least super logarithmic.

研究の動機と目的

• 文献[12]における、前綴情報距離が O(1) の精度で max(K(x|y), K(y|x)) に等しいという誤った主張を是正すること。
• 普通のバージョンと前綴バージョンの情報距離の違い、およびそれらの定義の明確化。
• 元の情報距離定義が定数シフトの後でのみ三角不等式を満たすことを示すこと、すなわち普遍的には満たさないこと。
• 情報距離と max(K(x|y), K(y|x)) が O(1) の精度で等価となるのは、距離が少なくとも対数的以上である場合に限ることを証明すること。

提案手法

• ゲーム理論的アプローチを用いて、前綴情報距離と max(K(x|y), K(y|x)) の間の差が無限大に達することを示す反例を構築する。
• 非二部グラフの前綴安定バージョンに対して戦略を適用し、その後、二部グラフの場合に拡張する。
• 下界半計算可能確率測度と事前確率を用いて、アルゴリズム的ランダムネスと情報含量をモデル化する。
• 関数 min(m(x|y), m(y|x)) が、和が1で有界な対称的かつ下界半計算可能な関数のクラスにおいて最大であることを示す。
• K(x|y) ≈ −log m(x|y) の関係を用いて、半測度とコルモゴロフ・コンプレックスィティの双対性を活用し、境界を導出する。
• 三角不等式を適用し、十分大きな c に対して max(K(x|y), K(y|x)) + c が三角不等式を満たすことを示す。

実験結果

リサーチクエスチョン

• RQ1 文献[12]が主張するように、前綴情報距離は O(1) の精度で max(K(x|y), K(y|x)) に等しいか？
• RQ2 対数的精度を伴う状況下で、前綴情報距離と条件付きコルモゴロフ・コンプレックスィティの真の関係は何か？
• RQ3 元の情報距離定義が定数シフトの後で三角不等式を満たすことができるか？
• RQ4 どのような条件下で情報距離が O(1) の精度で max(K(x|y), K(y|x)) に等しくなるか？
• RQ5 長さ n の文字列について、前綴情報距離と max(K(x|y), K(y|x)) の最大無限大差は何か？

主な発見

• 文献[12]における、前綴情報距離が O(1) の精度で max(K(x|y), K(y|x)) に等しいという主張は誤りである。
• 同じ長さの文字列に対しても、前綴情報距離と max(K(x|y), K(y|x)) の差は無限大に達する。
• 長さ n の文字列について、差は log log n − O(log log log n) に達する可能性がある。
• |x| = |y| かつ E1(x,y) ≥ 6 log|x| のとき、4つの前綴情報距離はすべて E1(x,y) + O(1) に等しい。
• 元の情報距離は、十分大きな定数を加えることでのみ三角不等式を満たし、普遍的には満たさない。
• 和が1で有界な対称的かつ下界半計算可能な関数のクラスにおいて、最大関数は O(1) 要因の違いを除き min(m(x|y), m(y|x)) である。