[论文解读] Goedel Machines: Self-Referential Universal Problem Solvers Making Provably Optimal Self-Improvements

Jürgen Schmidhuber|arXiv (Cornell University)|Jan 1, 2003

Computability, Logic, AI Algorithms参考文献 41被引用 20

一句话总结

本文介紹了哥德尔機器（Godel machine），一種自指涉的通用問題解決器，能透過尋找形式化證明來證明某項軟件修改可提升未來表現，從而實現可證明的最優自我改進。它在隨機、反應式環境中運作，使用形式化的公理系統與探索可計算證明技術的證明搜尋器，確保在資源有限條件下的最優性，且無漸近限制。

ABSTRACT

A Godel machine solves general computational problems in a possibly stochastic and reactive environment. Its initial software includes an axiomatic description of (1) the Godel machine's hardware, (2) known aspects of the environment, (3) goals and rewards to be achieved, (4) costs of actions and computations, (5) the initial soft- ware itself (no circularity involved here). It also includes a possibly sub-optimal initial problem-solving policy and a proof searcher searching the space of computable proof techniques—that is, programs whose outputs are proofs. Unlike previous approaches, the self-referential Godel machine will rewrite any part of its software (including ax- ioms and proof searcher) as soon as it has found a proof that this will improve its future performance. By definition, it produces optimal self-improvements, given arbi- trary formalized problems and typically limited computational resources; its optimality notion is not restricted to the concept of asymptotic optimality. To initialize the proof searcher we may use the recent Optimal Ordered Problem Solver.

研究动机与目标

• 設計一種通用問題解決代理，使其能在任意計算環境中實現可證明的最優自我改進。
• 透過引入非漸近最優性標準，克服漸近最優性之限制，以實現自我修改的最優性。
• 確保自我改進均經由形式化證明正式證明，避免循環性並確保正確性。
• 將成本感知計算與環境建模整合至統一框架中，以支援自我改進代理。
• 使代理能根據性能提升的形式化證明，重寫其自身公理、證明搜尋器與初始策略。

提出的方法

• 哥德爾機器以形式化公理描述其硬體、環境、目標、獎勵與計算成本初始化。
• 它使用證明搜尋器系統性地探索可計算證明技術的空間，以產生自我改進的證明。
• 僅當找到證明顯示某項更改將提升未來表現時，才觸發自我改進，確保可證明的最優性。
• 系統採用自指涉架構，使其能推理並修改自身程式碼，包括其公理與證明搜尋機制。
• 證明搜尋器透過最佳有序問題求解器初始化，以確保對證明空間的高效探索。
• 代理的最優性定義非漸近性，而是基於資源限制下的預期效用增益。

实验结果

研究问题

• RQ1 通用問題解決器是否能在隨機、反應式環境中實現可證明的最優自我改進？
• RQ2 如何在不引入循環或不一致性的前提下，正式證明自我改進的合理性？
• RQ3 證明搜尋器在實現資源感知、最優自我改進中扮演何種角色？
• RQ4 能否將自我改進的最優性標準延伸至有限、現實世界的計算資源，而非僅限於漸近邊界？
• RQ5 如何以不破壞正確性與最優性的前提下，修改代理自身的公理與證明搜尋機制？

主要发现

• 哥德爾機器透過在找到性能提升的形式化證明後重寫其軟體的任何組件，實現可證明的最優自我改進。
• 系統確保自我改進過程中不會產生循環，因初始軟體固定且自指涉推理有形式化基礎。
• 最優性概念不限於漸近行為，而是適用於有限、受限的計算資源。
• 透過最佳有序問題求解器初始化的證明搜尋器，能有效探索可計算證明技術的空間。
• 代理可根據形式化證明修改自身公理、獎勵結構與證明搜尋策略，確保正確性與最優性。
• 該框架透過形式化、自我證明的計算，支援在任意環境（可能為隨機且反應式）中的通用問題解決。