[論文レビュー] Solomonoff induction

Tom F. Sterkenburg|arXiv (Cornell University)|Mar 17, 2026

Computability, Logic, AI Algorithms被引用数 0

ひとこと要約

この論文は Solomonoff induction を computability と Bayesian の混合によって定義される universal predictor として分析し、その理論的信頼性と最適性を検討するとともに、 computable な universal predictor を妨げる対角化の限界を強調する。さらに Solomonoff–Levin の枠組みと機械学習およびベイズ的見解への示唆を概観する。

ABSTRACT

This chapter discusses the Solomonoff approach to universal prediction. The crucial ingredient in the approach is the notion of computability, and I present the main idea as an attempt to meet two plausible computability desiderata for a universal predictor. This attempt is unsuccessful, which is shown by a generalization of a diagonalization argument due to Putnam. I then critically discuss purported gains of the approach, in particular it providing a foundation for the methodological principle of Occam's razor, and it serving as a theoretical ideal for the development of machine learning methods.

研究の動機と目的

• computability 制約の下で universal predictor の探索を動機づける。
• computable（および半 computable）測度の混合による universal Bayesian prediction を導入する。
• universal aggregation の最適性と限界を分析する。
• fully universal predictors への対角化障害を議論する。
• 機械学習の基礎とOccam’s razor への影響を評価する。

提案手法

• 逐次的な二値予測を形式化し、予測子を p: {0,1}* -> {0,1} の分布へ mappings として定義する。
• computable 測度に対する universal reliability を定義し、重み w を持つクラス H の Bayesian mixtures に拡張する。
• Bayesian 一致性を証明する： p_w^H は μ-確率 1 で H の任意の μ に収束する（Blackwell–Dubins）。
• computable 測度上の universal mixture（ξ^comp_w）を構成し、すべての computable 測度に対して universal reliability を示す。
• aggregation 観点を導入：プール内の predictor からの予測を集約する predictor を提案し、対数損失（log loss）と後悔（regret）の枠組みを導出する。
• 対角線的議論（Putnam）を論じ、すべての computable パターンに対して universal かつ reliable な predictor は computable にはなり得ないことを示す。

実験結果

リサーチクエスチョン

• RQ1 computability 制約の下で universal reliability を持つ predictor は存在し得るか。
• RQ2 computable 測度のクラスに対する Bayesian mixture は universal reliability を生み出すか。
• RQ3 computable あるいは半 computable の枠組みで、predictors を集約する universal な最適性の形はあるか。
• RQ4 対角化の議論は fully universal computable predictor の存在を排除するか。
• RQ5 Solomonoff induction が機械学習および Bayesianorthodoxy に与える影響は何か。

主な発見

• computable 測度の可算クラスに対する Bayesian mixture は、すべての computable 測度に対して信頼できる（Bayesian 一致性）。
• computable 測度すべてに対する universal mixture predictor が存在し、computable な列に対して真の確率へ収束するという普遍的信頼性を有する。
• aggregation メカニズムは computable predictor のプール内で普遍的に最適な predictor を生み出し、log regret はプール内の任意の predictor に対して一定に抑えられる。
• semi-computable semi-measures（Solomonoff–Levin）へ拡張した場合、 universal semi-predictors は存在するが、それ自体は半可算ではない。
• 対角線的議論（Putnam）は、すべての computable パターンに対して同時に computable かつ universal に reliable である predictor の existence を否定し、根本的な制約を強調する。
• Solomonoff–Levin semi-predictors は半可算ではないが、半可算枠内での universal prediction の形を表す。