[논문 리뷰] Bounded Recursive Self-Improvement

Eric Nivel, Kristinn R. Þórisson외 11명|arXiv (Cornell University)|2013. 12. 24.

Embodied and Extended Cognition참고 문헌 24인용 수 18

한 줄 요약

이 논문은 실세계의 불완전한 환경에서 지속적인 자기 모델링, 반사적 사고 및 가치 기반 작업 우선순위 설정을 통해 인공 시스템이 자율적으로 성능을 향상시킬 수 있도록 하는 경계가 있는 순환적 자기 개선 아키텍처를 제안한다. 이 시스템은 정의된 설계 제약 내에서 동적으로 추론 스레드를 스케줄링하고 스스로를 개선함으로써 복잡한 작업의 온라인 학습을 실현하며, 실제 다중모달 인간 대화 환경에서 검증되었으며, 인공통합지능을 햖향하는 확장 가능한 청사진을 제공한다.

ABSTRACT

We have designed a machine that becomes increasingly better at behaving in underspecified circumstances, in a goal-directed way, on the job, by modeling itself and its environment as experience accumulates. Based on principles of autocatalysis, endogeny, and reflectivity, the work provides an architectural blueprint for constructing systems with high levels of operational autonomy in underspecified circumstances, starting from a small seed. Through value-driven dynamic priority scheduling controlling the parallel execution of a vast number of reasoning threads, the system achieves recursive self-improvement after it leaves the lab, within the boundaries imposed by its designers. A prototype system has been implemented and demonstrated to learn a complex real-world task, real-time multimodal dialogue with humans, by on-line observation. Our work presents solutions to several challenges that must be solved for achieving artificial general intelligence.

연구 동기 및 목표

• 불완전한 실세계 환경에서 지속적이고 목표 지향적인 자기 개선이 가능한 시스템을 설계하는 것.
• 설계자가 설정한 경계 내에서 순환적 자기 개선을 가능하게 하여 비통제적 최적화를 방지하는 것.
• 병렬 추론 스레드에 대한 동적이고 가치 기반의 스케줄링 메커니즘을 구현하여 학습과 적응을 우선순위화하는 것.
• 실시간 관찰과 자기 모델링을 통해 복잡한 실세계 작업, 예를 들어 다중모달 인간 대화와 같은 것을 자율적으로 온라인 학습할 수 있음을 입증하는 것.
• 내생성, 반사적 사고, 자가촉매적 과정을 통해 인공통합지능을 달성하는 데 있어 아키텍처적 청사진을 제공하는 것.

제안 방법

• 시스템은 춴적된 경험을 바탕으로 자신과 환경을 모델링하여 순환적 자기 반사와 적응을 가능하게 한다.
• 대규모의 병렬 추론 스레드를 활용하며, 각 스레드는 잠재적인 행동이나 추론을 나타내며, 가치 기반 스케줄러에 의해 동적으로 우선순위가 정해진다.
• 자기 개선은 설계 제약에 의해 경계지므로 최적화 과정에서 안전성과 안정성이 확보된다.
• 내생성(내부에서 목표 생성), 반사성(자기 모델링), 자가촉매성(자기 유지를 위한 개선 루프) 원리를 아키텍처에 통합한다.
• 실시간 인간 상호작용 관찰을 통해 다중모달 대화 행동을 학습하기 위한 프로토타입 시스템을 구현하였다.
• 기대 가치와 학습 진전에 따라 스레드 실행을 조정하는 동적 우선순위 스케줄링 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 무한한 최적화 없이 실세계의 불완전한 환경에서 인공 시스템이 어떻게 순환적 자기 개선을 달성할 수 있는가?
• RQ2 안전하고 경계가 있으며 지속적인 자기 개선을 가능하게 하는 아키텍처 원리는 무엇인가?
• RQ3 가치 기반의 추론 스레드 스케줄링이 효과적이고 효율적인 자기 최적화로 이어지는가?
• RQ4 실시간 관찰과 자기 모델링을 통해 시스템이 복잡한 인간 상호작용 작업을 학습할 수 있는가?
• RQ5 내생성, 반사성, 자가촉매성이 인공통합지능을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 시스템은 실시간 다중모달 인간 대화를 온라인 관찰을 통해 학습하여 복잡한 실세계 작업에서 실질적인 자기 개선을 입증하였다.
• 가치 기반 동적 우선순위 스케줄러는 가장 유망한 추론 스레드에 계산 자원을 효율적으로 할당하여 학습 속도를 가속화시켰다.
• 정의된 설계 경계 내에서 순환적 자기 개선이 달성되어 최적화 과정에서 안전성과 안정성이 확보되었다.
• 자기 모델링과 반사적 사고의 통합으로 시스템은 경험과 내부 평가에 기반해 행동을 적응시킬 수 있었다.
• 프로토타입은 경계가 있는 순환적 자기 개선이 실세계 환경에서 실현 가능하다는 것을 입증하였으며, 인공통합지능 향한 실현 가능한 길을 제시하였다.
• 시스템의 성능은 시간이 지남에 따라 지속적으로 향상되었으며, 실시간 상호작용 중 대화 품질과 반응성에서 측정 가능한 향상이 관찰되었다.