[論文レビュー] The Generalized Universal Law of Generalization

Nick Chater, Paul Vitányi|ArXiv.org|Jan 29, 2001

Computability, Logic, AI Algorithms参考文献 33被引用数 12

ひとこと要約

この論文は、ユークリッド的心理的距離の代わりに、1つの刺激から別の刺激に変換するための最小プログラム長として定義されるアルゴリズム的情報距離を用いることで、シードの普遍的法則を一般化する。計算可能ないらだち確率の下で、この法則はほとんど確実に成り立つことが証明され、情報距離がすべての他の類似度測度を最小化する普遍的な認知的尺度であることが示された。

ABSTRACT

It has been argued by Shepard that there is a robust psychological law that relates the distance between a pair of items in psychological space and the probability that they will be confused with each other. Specifically, the probability of confusion is a negative exponential function of the distance between the pair of items. In experimental contexts, distance is typically defined in terms of a multidimensional Euclidean space-but this assumption seems unlikely to hold for complex stimuli. We show that, nonetheless, the Universal Law of Generalization can be derived in the more complex setting of arbitrary stimuli, using a much more universal measure of distance. This universal distance is defined as the length of the shortest program that transforms the representations of the two items of interest into one another: the algorithmic information distance. It is universal in the sense that it minorizes every computable distance: it is the smallest computable distance. We show that the universal law of generalization holds with probability going to one-provided the confusion probabilities are computable. We also give a mathematically more appealing form

研究の動機と目的

• 心理的空間としてのユークリッド空間を超えて、任意の刺激へとシードの普遍的法則を拡張すること。
• 複雑な刺激において心理的距離を多次元ユークリッド空間として仮定するという制限を克服すること。
• アルゴリズム的情報距離を、すべての計算可能類似度測度を下回る普遍的な認知的尺度として確立すること。
• 混乱確率が計算可能である場合に、普遍的法則が高確率で成り立つことを示すこと。
• コルモゴロフ複雑性とアルゴリズム的情報理論を用いて、認知的類似度の形式的かつ数学的に最適な基盤を提供すること。

提案手法

• 2つの刺激間の普遍的認知的距離を、$ a $ から $ b $ に、かつ $ b $ から $ a $ に変換する最短プログラム長として定義する：$ D_{\text{max}}(a,b) $。
• 混乱確率をこの距離の負の指数関数としてモデル化する：$ \text{G}'(a,b) = 2^{-D_{\text{max}}(a,b)} $。これは、すべての半計算可能類似度基準から得られる混乱確率の最大値であることが示された。
• $ \text{G}'(a,b) $ が、計算可能距離測度から得られる他のすべての混乱確率を定数倍の要因を除き上回ることを証明する。
• シャノンのノイズレス符号化定理を適用し、$ D_{\text{max}}(a,b) $ が混乱確率を表現する最適なプレフィックス符号をもたらすことを示す。
• 2つのアイテム間の混乱確率が、アルゴリズム的情報距離の負の指数関数によって漸近的に支配されることを確立する。
• コルモゴロフ複雑性とプレフィックス符号の枠組みを用いて、導出された類似度尺度の普遍性を形式化する。

実験結果

リサーチクエスチョン

• RQ1 普遍的法則は、ユークリッド的心理的空間を超えて、任意の刺激へと一般化可能か？
• RQ2 すべての他の計算可能類似度測度を下回る普遍的な認知的距離尺度が存在するか？
• RQ3 混乱確率が計算可能である場合に、混乱確率と距離の負の指数関係が高確率で成り立つか？
• RQ4 アルゴリズム的情報距離は、人間の認知的類似度と混乱をモデル化する最適な基盤として機能できるか？
• RQ5 自然画像や言語的形態のように、低次元ユークリッド空間に自然に埋め込まれない複雑な刺激に対し、普遍的法則はどの程度有効に保たれるか？

主な発見

• アルゴリズム的情報距離 $ D_{\text{max}}(a,b) $ は、加法的定数を除き、すべての他の計算可能距離を下回る最小の計算可能認知的距離である。
• 混乱確率 $ \text{G}'(a,b) = 2^{-D_{\text{max}}(a,b)} $ は、すべての半計算可能類似度基準から得られる他の混乱確率を定数倍の要因を除き上回る。
• 任意の固定された $ b $ に対して、確率分布 $ P(a|b) = 2^{-D_{\text{max}}(a,b)} $ は適切な確率分布であり、$ \textstyle\text{sum}_{a \neq b} P(a|b) \text{ は } 1 \text{ 以下である} $ ことが満たされる。
• 混乱測度 $ \text{G}'(a,b) $ は、シャノン＝ファン符号化方式において期待符号長を最小化し、情報理論的観点から最適である。
• 混乱確率が計算可能であると仮定すると、心理的距離がアルゴリズム的情報距離によってモデル化される場合、普遍的法則は確率が1に近づく。
• 導出された普遍的尺度は、ユークリッド距離が捉えきれない直感的な類似性（例：画像の白黒反転）を説明でき、より広範な認知的関連性を示している。