[논문 리뷰] The Alberta Plan for AI Research

Richard S. Sutton, Michael Bowling외 1명|arXiv (Cornell University)|2022. 08. 23.

Scientific Computing and Data Management인용 수 7

한 줄 요약

앨버타 AI 연구 계획은 복잡하고 비정상적인 환경에서 지속적이고 시간적으로 균일한 학습을 통해 인공지능을 발전시키는 장기적 비전을 제시한다. 이 계획은 지능을 시간에 따라 변화하는 신호 처리로 간주하며, 관찰, 행동, 보상 신호만을 사용하여 실시간으로 학습하고 계획하며 적응하는 에이전트에 초점을 맞춘다. 핵심 원칙으로는 확장성, 계산 효율성, 외부 감독이나 도메인 특화 설계에 대한 최소한의 의존성을 강조한다.

ABSTRACT

Herein we describe our approach to artificial intelligence research, which we call the Alberta Plan. The Alberta Plan is pursued within our research groups in Alberta and by others who are like minded throughout the world. We welcome all who would join us in this pursuit.

연구 동기 및 목표

• 복잡하고 동적인 환경과 상호작용하는 장기적이고 자율적인 에이전트를 통해 계산 지능의 기초적 이해를 도출하는 것.
• 정적이고 과제 중심의 훈련이 아닌 지속적 학습과 적응에 초점을 맞춰 현재 AI 시스템의 한계를 해결하는 것.
• 모든 학습을 원시적인 감각 경험(관찰, 행동, 보상)에 기반하여 인간이 제공하는 감독이나 도메인 특화 지식에 의존도를 줄이는 것.
• 모든 시간 단계에서 동일하게 작동하는, 즉 시간적으로 균일한 알고리즘과 아키텍처를 우선시하여 설계를 단순화하고 확장성을 향상시키는 것.
• 자기 향상하는 에이전트를 통해 메타학습, 내재적 호기심, 지능 증폭과 같은 고차원 인지 능력의 탄생을 탐색하는 것.

제안 방법

• 환경으로부터 관찰 및 보상 신호를 수신하고 행동을 취하여 이러한 신호를 제어하는 에이전트를 설계하여, 지능을 지속적인 상호작용 과정으로 모델링하는 것.
• 시간적 균일성 구현: 모든 학습, 계획, 표현 구축 과정이 특별한 훈련 단계나 특권 정보 없이 매 시간 단계에서 발생하도록 하는 것.
• 일반 가치 함수(GVF)와 같은 일반화된 가치 함수를 사용하여 보상 이외의 시간적으로 연장된 신호를 추정함으로써 더 풍부한 세계 모델링을 가능하게 하는 것.
• 환경 변화에 동적으로 대응할 수 있도록 적응형 학습률을 갖춘 메타알고리즘을 개발하며, 우선순위 기반 스위핑과 시간적 책임 할당 메커니즘을 활용하는 것.
• 장기적 수평 계획과 모듈화된 기술 습득을 가능하게 하기 위해 계층적 및 옵션 기반 구조를 도입하고, 상호 적응하는 에이전트들이 계산적 외피질을 형성하는 것.
• 스케일러블 함수 근사 및 최적화 기법(예: Adam, 배치 정규화)을 활용하여 고차원 공간에서의 효율적 학습을 지원하는 것.

실험 결과

연구 질문

• RQ1 인공 에이전트는 비정상적이고 부분적으로 관찰 가능한 환경과의 장기적이고 안정적인 상호작용을 통해 어떻게 지속적인 지능을 달성할 수 있는가?
• RQ2 특수한 훈련 단계 없이도 시간에 따라 균일하게 학습하고 계획하며 적응할 수 있도록 하는 데 필요한 최소한의 알고리즘적 및 아키텍처 원칙은 무엇인가?
• RQ3 관찰, 행동, 보상 신호만을 사용하여 에이전트가 환경과 상호작용할 때 내재적 호기심과 자기지도 학습이 어떻게 탄생할 수 있는가?
• RQ4 메타학습과 적응형 학습률은 환경 변화에 대응하는 데 에이전트의 능력을 어떻게 향상시키며, 동시에 시간적 균일성을 유지할 수 있는가?
• RQ5 에이전트 간 협업, 특히 인간-에이전트 또는 다중 에이전트 시스템에서 지능 증폭은 어떻게 형식화하고 실현할 수 있는가?

주요 결과

• 학습 및 계획에서의 시간적 균일성은 설계 복잡도를 감소시키고 적응성을 향상시켜 더 확장 가능하고 견고하며 일반화 가능한 에이전트 설계를 이끌어낸다.
• 일반 가치 함수(GVF)는 다양한 시간적으로 연장된 신호를 추정할 수 있게 하여 더 풍부한 세계 모델링과 향상된 계획 능력을 지원한다.
• 우선순위 기반 스위핑과 적응형 최적화(예: Adam, RMSprop)와 같은 메타알고리즘은 비정상적인 환경에서 샘플 효율성과 학습 속도를 크게 향상시킨다.
• 옵션과 계층적 구조의 사용은 기술 습득과 조합을 효율적으로 가능하게 하여 명시적인 과제 정의 없이도 장기 수평의 의사결정을 가능하게 한다.
• 한 에이전트가 다른 에이전트의 계산적 외피질로 작용하는 상호 적응형 에이전트 간 협업을 통한 지능 증폭은 인간-에이전트 및 에이전트-에이전트 환경 모두에서 곱셈적 지능 향상을 보여주는 잠재력을 지닌다.
• 특별한 훈련 단계가 없고 외부 감독에 의존하지 않는 시스템은 더 확장 가능하고 일반화 가능하며, AI 연구의 '가장 쓰디쓴 교훈(The Bitter Lesson)' 원칙과 부합한다.