[논문 리뷰] The Generalized Universal Law of Generalization

Nick Chater, Paul Vitányi|ArXiv.org|2001. 01. 29.

Computability, Logic, AI Algorithms참고 문헌 33인용 수 12

한 줄 요약

이 논문은 유클리드 정신적 거리 대신, 한 자극에서 다른 자극으로 변환하는 데 필요한 최소 프로그램 길이로 정의된 알고리즘적 정보 거리(algorithmic information distance)를 사용하여 시드의 일반화 법칙을 일반화한다. 계산 가능한 혼동 확률 조건 하에서 이 법칙은 극도로 높은 확률로 성립함을 증명하며, 정보 거리를 모든 다른 유사성 측정법을 최소화하는 보편적인 인지 척도로 설정한다.

ABSTRACT

It has been argued by Shepard that there is a robust psychological law that relates the distance between a pair of items in psychological space and the probability that they will be confused with each other. Specifically, the probability of confusion is a negative exponential function of the distance between the pair of items. In experimental contexts, distance is typically defined in terms of a multidimensional Euclidean space-but this assumption seems unlikely to hold for complex stimuli. We show that, nonetheless, the Universal Law of Generalization can be derived in the more complex setting of arbitrary stimuli, using a much more universal measure of distance. This universal distance is defined as the length of the shortest program that transforms the representations of the two items of interest into one another: the algorithmic information distance. It is universal in the sense that it minorizes every computable distance: it is the smallest computable distance. We show that the universal law of generalization holds with probability going to one-provided the confusion probabilities are computable. We also give a mathematically more appealing form

연구 동기 및 목표

• 정신적 거리의 다차원 유클리드 공간을 가정하는 제약를 초월하여, 보편적 일반화 법칙을 임의의 자극으로 확장하는 것.
• 복잡한 자극에서 정신적 거리의 다차원 유클리드 공간을 가정하는 한계를 해결하는 것.
• 알고리즘적 정보 거리를 모든 계산 가능한 유사성 측정법을 최소화하는 보편적인 인지 척도로 설정하는 것.
• 혼동 확률이 계산 가능할 경우 보편적 일반화 법칙이 높은 확률로 성립함을 보이는 것.
• 콜모고로프 복잡도와 알고리즘적 정보 이론을 사용하여 인지 유사성의 공식적이고 수학적으로 최적의 기반을 제공하는 것.

제안 방법

• 자극 a에서 b로, 그리고 b에서 a로 변환하는 데 필요한 최소 프로그램 길이인 알고리즘적 정보 거리 $ D_{\text{max}}(a,b) $로 보편적 인지 거리를 정의한다.
• 혼동 확률을 이 거리의 음의 지수로 모델링한다: $ \text{G}'(a,b) = 2^{-D_{\text{max}}(a,b)} $, 이는 모든 반계산 가능한 유사성 기준에서 가능한 최대 혼동 확률임을 입증한다.
• 모든 계산 가능한 거리 측정법에서 유도된 다른 혼동 확률들을 상수 인자 범위 내에서 모두 초월하는 것으로 증명한다.
• 샤논의 무잡음 부호화 정리를 적용하여 $ D_{\text{max}}(a,b) $ 가 혼동 확률을 표현하는 최적의 프리픽스 부호를 제공함을 보여준다.
• 두 항목 간의 혼동 확률이 渐近적으로 알고리즘적 정보 거리의 음의 지수에 의해 지배됨을 확립한다.
• 콜모고로프 복잡도와 프리픽스 부호의 프레임워크를 사용하여 유도된 유사성 척도의 보편성을 수식화한다.

실험 결과

연구 질문

• RQ1 보편적 일반화 법칙은 유클리드 정신적 공간을 초월하여 임의의 자극으로 일반화될 수 있는가?
• RQ2 모든 다른 계산 가능한 유사성 측정법을 최소화하는 보편적 인지 거리 척도가 존재하는가?
• RQ3 혼동 확률이 계산 가능할 경우, 혼동 확률과 거리 간의 음의 지수 관계가 높은 확률로 성립하는가?
• RQ4 알고리즘적 정보 거리는 인간의 인지 유사성과 혼동을 모델링하는 데 최적의 기초가 될 수 있는가?
• RQ5 자연 이미지나 언어적 형태처럼 저차원 유클리드 공간에 자연스럽게 통합되지 않는 복잡한 자극에 대해서도 보편 법칙이 얼마나 유지되는가?

주요 결과

• 알고리즘적 정보 거리 $ D_{\text{max}}(a,b) $ 는 모든 다른 계산 가능한 거리들을 상수의 덧셈 항을 제외하고 최소화하는 최소 계산 가능한 인지 거리이다.
• 혼동 확률 $ \text{G}'(a,b) = 2^{-D_{\text{max}}(a,b)} $ 는 모든 반계산 가능한 유사성 기준에서 유도된 다른 혼동 확률들을 상수 승수 인자 범위 내에서 초월한다.
• 고정된 $ b $ 에 대해 확률 분포 $ P(a|b) = 2^{-D_{\text{max}}(a,b)} $ 는 타당한 확률 분포이며, $ \textstyle\text{sum}_{a \neq b} P(a|b) \text{ is less than or equal to } 1 $ 를 만족한다.
• 혼동 측정법 $ \text{G}'(a,b) $ 는 샤논-판코 부호화 방식 하에서 기대 부호 길이를 최소화하여 정보 이론적으로 최적임을 입증한다.
• 혼동 확률이 계산 가능할 경우, 심리적 거리가 알고리즘적 정보 거리로 모델링된다는 가정 하에 보편적 일반화 법칙은 확률이 1에 수렴함에 따라 성립한다.
• 유도된 보편 척도는 유클리드 거리가 포착하지 못하는 직관적 유사성(예: 이미지의 블랙-화이트 반전)을 설명할 수 있어, 더 넓은 인지적 관련성을 보여준다.