[논문 리뷰] Solomonoff induction

Tom F. Sterkenburg|arXiv (Cornell University)|2026. 03. 17.

Computability, Logic, AI Algorithms인용 수 0

한 줄 요약

이 논문은 Solomonoff induction을 계산가능성 및 베이지안 혼합으로 정의된 보편 예측기로 분석하고, 이의 이론적 신뢰성과 최적성에 대해 논의하며, 계산 가능한 보편 예측기를 방지하는 대각화의 한계를 강조한다. 또한 Solomonoff–Levin 프레임워크와 그것이 기계 학습 및 베이지안 관점에 주는 시사점을 검토한다.

ABSTRACT

This chapter discusses the Solomonoff approach to universal prediction. The crucial ingredient in the approach is the notion of computability, and I present the main idea as an attempt to meet two plausible computability desiderata for a universal predictor. This attempt is unsuccessful, which is shown by a generalization of a diagonalization argument due to Putnam. I then critically discuss purported gains of the approach, in particular it providing a foundation for the methodological principle of Occam's razor, and it serving as a theoretical ideal for the development of machine learning methods.

연구 동기 및 목표

• 계산가능성 제약 하에서 보편 예측기를 찾으려는 동기를 제시한다.
• 계산가능한(및 반계산가능한) 측정에 대한 혼합을 통해 보편적 베이지안 예측을 도입한다.
• 보편적 집계의 최적성 특성 및 한계를 분석한다.
• 완전한 보편 예측기에 대한 대각화 장애를 논의한다.
• 기계 학습의 기초와 Occam의 면도날에 대한 시사점을 평가한다.

제안 방법

• 연속 이진 예측을 형식화하고 예측기를 p: {0,1}* -> {0,1}의 분포로 정의한다.
• 계산가능한 측정에 대한 보편 신뢰성을 정의하고, 가중치 w를 갖는 클래스 H 위의 베이지안 혼합으로 확장한다.
• 베이지안 일관성을 증명한다: p_w^H가 H의 임의의 μ에 대해 μ-확률 1로 수렴한다(Blackwell–Dubins).
• 계산가능한 측정들에 대한 보편 혼합 ξ^comp_w를 구성하고 모든 계산가능한 측정에 대해 보편 신뢰성을 보인다.
• 집계 뷰를 도입한다: 예측기 풀에서 예측을 모으는 예측기와 로그 손실(log loss) 프레임워크를 도출한다(로그 손실 및 후회).
• (Putnam) 대각화 주장을 논의하며 어떤 계산가능한 예측기도 모든 계산가능한 패턴에 대해 보편적이고 신뢰할 수 없음을 보인다.

실험 결과

연구 질문

• RQ1 계산가능성 제약 하에서 보편적으로 신뢰할 수 있는 예측기가 존재할 수 있는가?
• RQ2 계산가능한 측정 클래스에 대한 베이지안 혼합이 보편 신뢰성을 가져오는가?
• RQ3 계산가능하거나 반계산가능한 프레임워크에서 예측기를 집계하는 데 보편적 최적성의 한 형태가 있는가?
• RQ4 대각화 논거가 완전한 보편 계산 가능한 예측기의 존재를 배제하는가?
• RQ5 Solomonoff 귀납이 기계 학습 및 베이지안 정통성에 주는 시사점은 무엇인가?

주요 결과

• 계산가능한 측정의 가산 클래스에 대한 베이지안 혼합은 모든 계산가능한 측정에 대해 신뢰할 수 있다(베이지안 일관성).
• 모든 계산가능한 측정에 대한 보편 혼합 예측기가 존재하며, 계산가능한 수열에 대한 실제 확률로 수렴한다는 점에서 보편적으로 신뢰할 수 있다.
• 집계 메커니즘은 계산가능한 예측기 풀 내에서 보편적으로 최적의 예측기를 만들며, 로그 후회가 풀 내의 어떤 예측기에 대해서도 상수로 한정된다.
• 반계산가능 반측정(Solomonoff–Levin)으로 확장할 때, 보편 반예측기가 존재하지만 그것들 자체는 반계산가능하지 않다.
• 대각화 논거(Putnam)는 모든 계산가능한 패턴에 대해 동시에 계산가능하고 보편적으로 신뢰할 수 있는 예측기가 존재할 수 없음을 시사하며, 근본적 한계를 강조한다.
• Solomonoff–Levin 반예측기는 반계산가능하지 않다, 반면 반계산가능 프레임워크 내에서 보편 예측의 한 형태를 나타낸다.