[논문 리뷰] Goedel Machines: Self-Referential Universal Problem Solvers Making Provably Optimal Self-Improvements

Jürgen Schmidhuber|arXiv (Cornell University)|2003. 01. 01.

Computability, Logic, AI Algorithms참고 문헌 41인용 수 20

한 줄 요약

이 논문은 자기참조적 보편 문제 해결기인 Godel 기계를 소개한다. 이 기계는 어떤 소프트웨어 구성 요소라도 향후 성능 향상에 기여한다는 형식적 증명을 발견하면 재작성함으로써 최적의 자기개선을 증명 가능하게 수행한다. 이는 확률적이고 반응적인 환경에서 작동하며, 형식화된 공리계와 계산 가능한 증명 기법을 탐색하는 증명 탐색기를 사용하여 자원 제약 하에서 최적성을 보장한다. 이는 점근적 제약 없이 작동한다.

ABSTRACT

A Godel machine solves general computational problems in a possibly stochastic and reactive environment. Its initial software includes an axiomatic description of (1) the Godel machine's hardware, (2) known aspects of the environment, (3) goals and rewards to be achieved, (4) costs of actions and computations, (5) the initial soft- ware itself (no circularity involved here). It also includes a possibly sub-optimal initial problem-solving policy and a proof searcher searching the space of computable proof techniques—that is, programs whose outputs are proofs. Unlike previous approaches, the self-referential Godel machine will rewrite any part of its software (including ax- ioms and proof searcher) as soon as it has found a proof that this will improve its future performance. By definition, it produces optimal self-improvements, given arbi- trary formalized problems and typically limited computational resources; its optimality notion is not restricted to the concept of asymptotic optimality. To initialize the proof searcher we may use the recent Optimal Ordered Problem Solver.

연구 동기 및 목표

• 임의의 계산 환경에서 증명 가능하게 최적의 자기개선을 수행할 수 있는 보편 문제 해결 에이전트를 설계하는 것.
• 자기수정의 점근적 최적성에 대한 제한을 극복하기 위해, 자원 제약 하에서의 비점근적 최적성 기준을 도입하는 것.
• 자기수정이 증명을 통해 형식적으로 정당화되어 순환성과 오류를 방지하고 정확성을 확보하는 것.
• 비용 인지 계산과 환경 모델링을 통합된 프레임워크로 통합하여 자기개선 에이전트를 설계하는 것.
• 형식적 증명에 기반해 자신의 공리, 증명 탐색기, 초기 정책을 재작성할 수 있도록 하는 것.

제안 방법

• Godel 기계는 하드웨어, 환경, 목표, 보상, 계산 비용에 대한 형식적 공리적 기술로 초기화된다.
• 자기개선을 위한 증명을 생성하기 위해 계산 가능한 증명 기법의 공간을 체계적으로 탐색하는 증명 탐색기를 활용한다.
• 자기수정은 변화가 향후 성능 향상에 기여한다는 증명이 발견되었을 때만 유도되며, 이는 증명 가능 최적성을 보장한다.
• 자기참조 아키텍처를 사용하여 자신의 코드, 공리, 증명 탐색 메커니즘을 모두 추론하고 수정할 수 있다.
• 증명 탐색기는 최적 순서화 문제 해결기로 초기화되어 증명 공간의 효율적 탐색을 보장한다.
• 에이전트의 최적성은 점근적으로 정의되지 않고, 자원 제약 하에서 기대 효용 증가의 관점에서 정의된다.

실험 결과

연구 질문

• RQ1 보편 문제 해결기가 확률적이고 반응적인 환경에서 증명 가능하게 최적의 자기개선을 수행할 수 있는가?
• RQ2 순환성이나 모순을 유발하지 않고 자기수정을 어떻게 형식적으로 정당화할 수 있는가?
• RQ3 증명 탐색기는 어떻게 최적의 자원 인지 자기개선을 가능하게 하는가?
• RQ4 자기개선의 최적성 기준을 점근적 한계를 넘어서 유한하고 실제 계산 자원에까지 확장할 수 있는가?
• RQ5 에이전트의 자체 공리와 증명 탐색 메커니즘을 어떻게 수정할 수 있을까? 이는 정확성과 최적성을 유지하는 방식으로.

주요 결과

• Godel 기계는 성능 향상에 대한 형식적 증명을 발견하면 소프트웨어의 어떤 구성 요소도 재작성함으로써 증명 가능하게 최적의 자기개선을 달성한다.
• 초기 소프트웨어는 고정되어 있으므로 자기참조적 추론이 형식적으로 기반을 두어 자기수정 과정에서 순환성이 발생하지 않음을 보장한다.
• 최적성 개념은 점근적 행동에 국한되지 않고, 유한하고 제한된 계산 자원에 대해서도 적용된다.
• 최적 순서화 문제 해결기를 통해 초기화된 증명 탐색기는 계산 가능한 증명 기법의 공간을 효율적으로 탐색할 수 있다.
• 에이전트는 형식적 증명에 기반해 자신의 공리, 보상 구조, 증명 탐색 전략을 수정할 수 있으며, 이는 정확성과 최적성을 보장한다.
• 형식화된, 스스로 정당화하는 계산을 통해 이 프레임워크는 임의의 확률적이고 반응적인 환경에서 일반 문제 해결을 지원한다.