[논문 리뷰] Optimal Ordered Problem Solver

Juergen Schmidhuber|ArXiv.org|2002. 07. 31.

Computability, Logic, AI Algorithms참고 문헌 52인용 수 10

한 줄 요약

최적의 순서화된 문제 해결자(OOPS)는 이전 문제들에서 유래한 해결책을 재사용하고 적응시켜 작업의 연속을 해결하기 위한 이론적으로 최적의 일반 목적 알고리즘이다. 이는 편향 최적화된 보편적 탐색을 사용하는 재귀적 프로그램 공간 탐색을 통해 자기 향상(self-improvement)을 가능하게 하며, 30개의 디스크를 가진 하노이의 탑과 같은 복잡한 문제를 해결할 때 최대 1000배의 속도 향상을 달성한다.

ABSTRACT

We present a novel, general, optimally fast, incremental way of searching for a universal algorithm that solves each task in a sequence of tasks. The Optimal Ordered Problem Solver (OOPS) continually organizes and exploits previously found solutions to earlier tasks, efficiently searching not only the space of domain-specific algorithms, but also the space of search algorithms. Essentially we extend the principles of optimal nonincremental universal search to build an incremental universal learner that is able to improve itself through experience. In illustrative experiments, our self-improver becomes the first general system that learns to solve all n disk Towers of Hanoi tasks (solution size 2^n-1) for n up to 30, profiting from previously solved, simpler tasks involving samples of a simple context free language.

연구 동기 및 목표

• 이전 문제들에서의 해결책을 재사용하여 점점 더 복잡한 작업의 연속을 일반적이고 시간 최적화된 방법으로 해결하는 데 목적이 있다.
• 과적합과 비최적의 편향 적응을 겪는 히وري스틱적이고 비최적의 보편적 탐색의 점진적 확장 방식의 한계를 극복하는 데 목적이 있다.
• 제한된 자원을 가진 현실적인 컴퓨터에서 효율적인 재귀적 백트래킹을 가능하게 하는 프로그램 공간 탐색을 위한 목적이 있다.
• 자기 향상과 메타탐색(더 빠른 탐색 절차를 찾는 탐색)이 보편적 문제 해결 프레임워크에 어떻게 공식적으로 통합될 수 있는지 보여주는 데 목적이 있다.
• OOPS 기반 강화 학습과 확장 가능한, 물리적으로 실현 가능한 보편적 해결자에 대한 기초를 제공하는 데 목적이 있다.

제안 방법

• OOPS는 점차적으로 최적의 비점진적 보편적 탐색을 사용하며, 프로그램을 길이와 역확률의 순서로 테스트한다. 단계 $i$에서 실행 시간은 $2^i P(p)$로 제한된다.
• 이 알고리즘은 이전 작업 해결책에 기반해 계산 가능한 함수를 사용하여 프로그램 접미사에 대한 확률 분포를 동적으로 수정함으로써 편향 적응을 가능하게 한다.
• 프로그램 접두어는 생성되는 대로 점진적으로 실행되며, 이전 작업에서 성공한 해결책을 유지하기 위해 쓰기 금지 저장소를 사용한다.
• 알고리즘은 탐색 시간의 첫 번째 반을 작업 $1$에서 $n$까지의 모든 작업에 시간 공유하며, 두 번째 반은 최근에 성공한 프로그램을 접두어로 사용하는 프로그램을 테스트하는 데 할애한다.
• 프로그램 공간 탐색 중 수정된 저장소를 시간 최적화 방식으로 초기화하기 위해 'Try'라는 재귀적 백트래킹 절차를 사용한다.
• 스택 조작, 제어 흐름, 편향 이동 기능을 포함한 저수준의 자기 구분 프로그래밍 언어를 정의하여 보편적 계산과 자기 수정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이전 작업들에서의 해결책을 최적으로 재사용하여 더 어려운 새로운 작업을 가속화할 수 있는 일반 목적 문제 해결자가 설계될 수 있는가?
• RQ2 과적합을 피하면서도 이전 작업 해결책에 기반해 프로그램에 대한 편향 분포를 적응적이고 최적으로 업데이트하는 방법은 무엇인가?
• RQ3 실제 컴퓨터에서 프로그램 공간에서 재귀적이고 시간 최적의 백트래킹이 이론적으로나 실용적으로 가능한가?
• RQ4 자기 향상과 메타탐색(더 빠른 탐색 전략을 찾는 탐색)이 보편적 해결자에 어떻게 공식적으로 통합될 수 있는가?
• RQ5 하노이의 탑 문제에서 디스크 수가 30개일 경우, 최소 해결 크기가 $10^9$를 초과하는 상황에서 OOPS의 성능은 어떻게 스케일링되는가?

주요 결과

• OOPS는 자기 향상을 통해 이전 해결책을 재사용하고 적응시킴으로써 하노이의 탑 문제에서 30개의 디스크를 가진 복잡한 문제를 해결할 때 최대 1000배의 속도 향상을 달성한다.
• 알고리즘은 이전 해결책을 재사용함으로써 보편적 탐색을 가속화하는 일시적인 접두어를 발견함으로써 점진적 학습을 보여준다.
• 실험 결과, OOPS는 문맥 자유 언어 식별 및 하노이의 탑 문제를 포함한 작업 시퀀스를 성공적으로 해결했으며, 재사용으로 인한 명백한 성능 향상을 보였다.
• 재귀적 'Try' 절차는 제한된 하드웨어에서 효율적인 탐색을 위해 필수적인 시간 최적의 프로그램 공간 백트래킹을 가능하게 한다.
• OOPS는 편향 최적성과 점차적 최적성에서 증명 가능하며, 깊은 구조적 재사용이 필요한 문제에서 전통적인 강화 학습 기반 알고리즘과 AI 기반 계획 도구를 능가한다.
• 메모리 및 시간 제약과 같은 물리적 제약 조건을 분석하였으며, 이 프레임워크가 큰 문제에 대해 거의 뛰어난 방식으로 스케일링됨을 입증하였다.