[論文レビュー] Logical Induction

Scott Garrabrant, Tsvi Benson-Tilsen+3 more|arXiv (Cornell University)|Sep 12, 2016

Computability, Logic, AI Algorithms参考文献 91被引用数 9

ひとこと要約

この論文は、ペアノ算術などの形式的言語における論理的文の確率を時間経過とともに割り当て・更新する計算可能な論理的インダクター——つまりアルゴリズム——を導入する。このアルゴリズムは、真偽値のパターンを学習すること、擬似ランダムな系列をモデル化すること、パラドックスを避ける整合的な自己言及的信念を形成すること、そして極限においてユニバーサル半測度を厳密に上回ることといった、主要な望ましい性質を満たす。

ABSTRACT

We present a computable algorithm that assigns probabilities to every logical statement in a given formal language, and refines those probabilities over time. For instance, if language is Peano arithmetic, it assigns probabilities to all arithmetical statements, including claims about twin prime conjecture, outputs of long-running computations, and its own probabilities. We show that our algorithm, an instance of what we call a logical inductor, satisfies a number of intuitive desiderata, including: (1) it learns to predict patterns of truth and falsehood in logical statements, often long before having resources to evaluate statements, so long as patterns can be written down in polynomial time; (2) it learns to use appropriate statistical summaries to predict sequences of statements whose truth values appear pseudorandom; and (3) it learns to have accurate beliefs about its own current beliefs, in a manner that avoids standard paradoxes of self-reference. For example, if a given computer program only ever produces outputs in a certain range, a logical inductor learns this fact in a timely manner; and if late digits in decimal expansion of $\pi$ are difficult to predict, then a logical inductor learns to assign $\approx 10\%$ probability to the $n$th digit of $\pi$ is a 7 for large $n$. Logical inductors also learn to trust their future beliefs more than their current beliefs, and their beliefs are coherent in limit (whenever $\phi \implies \psi$, $\mathbb{P}_\infty(\phi) \le \mathbb{P}_\infty(\psi)$, and so on); and logical inductors strictly dominate universal semimeasure in limit. These properties and many others all follow from a single logical induction criterion, which is motivated by a series of stock trading analogies. Roughly speaking, each logical sentence $\phi$ is associated with a stock that is worth \$1 per share if [...]

研究の動機と目的

• ペアノ算術などの形式的言語における論理的文に確率を割り当て、時間経過とともにそれを精錬する計算可能なアルゴリズムを開発すること。
• 形式的証明が可能になるよりもはるかに早く、論理的文の真偽のパターンを予測できるようにアルゴリズムを保証すること。
• 自身の確率に関する自己言及的信念を整合的に形成し、標準的な自己言及のパラドックスを避けること。
• 極限において整合性を確保し、論理的含意が確率割り当てに反映されることを保証すること。
• 極限においてユニバーサル半測度を厳密に上回ることを示すことにより、優れたインダクティブな性能を示すこと。

提案手法

• アルゴリズムは、株式取引のアナロジーから導かれた単一の論理的インダクション基準を満たす論理的インダクターとして定式化される。
• 各論理的文 φ は、φ が真である場合に 1 ドルの価値を持つ「株式」と関連付けられ、アルゴリズムは時間経過とともにこれらの株式を取引することで、資産損失を最小化する。
• アルゴリズムは、予測の正確性と市場効率性に基づいて確率を更新するためのマーケットスコアリングルールメカニズムを用いる。
• 予測誤差を最小化する統計的要約を特定することで、擬似ランダムな真偽値の系列を学習する。
• φ が ψ を含意するならば P∞(φ) ≤ P∞(ψ) であることを強制することで、極限において整合性を保証する。
• アルゴリズムは計算可能であり、時間経過とともに信念を精錬し、ユニバーサル半測度を極限で上回る収束特性を有する。

実験結果

リサーチクエスチョン

• RQ1 計算可能なアルゴリズムは、証明可能になるよりもはるかに前に論理的文に正確な確率を割り当てられるか？
• RQ2 真偽値の系列が擬似ランダムに見える場合でも、整合的な確率を割り当てられるようにシステムを設計できるか？
• RQ3 論理的インダクターは、パラドックスを避けるために自身の確率に関する自己言及的信念を形成できるか？
• RQ4 論理的インダクターの信念体系は、極限において整合的な確率分布に収束するか？
• RQ5 論理的インダクターは、極限においてユニバーサル半測度を厳密に上回るか？

主な発見

• 論理的インダクターは、大きな n に対して π の n 番目の桁が 7 である確率を約 10% に学習し、桁の分布の擬似ランダム性を反映する。
• 特定の範囲の出力しか生成しないプログラムが、完全に実行されなくても、その出力が続くと学習する。
• インダクターの信念は極限において整合的になる：φ が ψ を含意する限り、P∞(φ) ≤ P∞(ψ) が成り立つ。
• インダクターは極限においてユニバーサル半測度を厳密に上回り、優れたインダクティブな性能を示す。
• インダクターは、将来の信念を現在の信念よりも信頼するよう学習し、時間経過とともに合理的な自己是正を示す。
• インダクターは、十分なリソースが入手可能になるよりもはるかに前に、論理的文の真偽のパターンを予測するよう学習する。