[논문 리뷰] Using Adaptive Dynamic Programming to Understand and Replicate Brain Intelligence: the Next Level Design

Paul J. Werbos|ArXiv.org|2006. 12. 24.

Adaptive Dynamic Programming Control참고 문헌 2인용 수 5

한 줄 요약

이 논문은 창의성, 시공간 복잡성 관리 및 유틸리티 기반 학습을 강조하면서 뇌의 고급 지능을 모델링하고 재현하기 위한 프레임워크로 적응형 동적 프ogram밍(ADP)을 제안한다. 기존 모델과 뇌의 능력 간 격차를 메우기 위해 고도화된 ADP 도구를 도입함으로써 제1세대 및 제2세대 적응형 크리틱 시스템을 넘어서 인공 일반 지능을 위한 차세대 아키텍처로 발전시킨다.

ABSTRACT

Since the 1960s I proposed that we could understand and replicate the highest level of intelligence seen in the brain, by building ever more capable and general systems for adaptive dynamic programming (ADP), which is like reinforcement learning but based on approximating the Bellman equation and allowing the controller to know its utility function. Growing empirical evidence on the brain supports this approach. Adaptive critic systems now meet tough engineering challenges and provide a kind of first-generation model of the brain. Lewis, Prokhorov and myself have early second-generation work. Mammal brains possess three core capabilities, creativity/imagination and ways to manage spatial and temporal complexity, even beyond the second generation. This paper reviews previous progress, and describes new tools and approaches to overcome the spatial complexity gap.

연구 동기 및 목표

• 적응형 동적 프로그래밍(ADP) 원리를 확장하여 인간 수준의 지능을 모델링하고 재현하기 위한 차세대 프레임워크를 개발하기 위해.
• 기존 뇌 기반 AI 모델의 공간 복잡성 격차를 해소하기 위해 새로운 ADP 도구와 아키텍처를 도입하기 위해.
• 특히 유틸리티 함수, 상상력, 시간 처리에 관해 신경과학에서의 통찰을 통합하여 통합된 계산 프레임워크를 만들기 위해.
• 기본 강화 학습을 넘어서 제1세대 및 제2세대 적응형 크리틱 시스템을 초월하여 영양동물 뇌 능력의 보다 종합적인 모델로 발전시키기 위해.
• 뇌의 최고 수준의 인지 기능, 예를 들어 계획 수립과 창의성 등을 모방하는 인공 시스템을 구축하기 위한 이론적 및 방법론적 기반을 제공하기 위해.

제안 방법

• Bellman 방정식의 근사와 알려진 유틸리티 함수를 포함하는, 적응형 동적 프로그래밍(ADP)을 기반으로 한 강화 학습의 변종을 활용한다.
• 상상력과 장기 계획과 같은 고차원 인지 기능을 재현하기 위해 재귀적 유틸리티 근사 기법을 적용한 향상된 ADP 아키텍처를 도입한다.
• 뇌의 기저핵 및 후두엽 피질 영역에서 관찰되는 메커니즘을 모방하기 위해 유틸리티 기반 학습을 활용해 의사결정 과정을 시뮬레이션한다.
• 신경 시계와 뇌의 예측 코딩에 영감을 얻어 복잡한 다단계 작업을 관리하기 위해 시간적 및 공간적 추상화 메커니즘을 통합한다.
• 자기 일관성 있는 계획 수립 및 미래 상태의 내부 시뮬레이션 메커니즘을 통합함으로써 이전의 적응형 크리틱 모델을 확장한다.
• 생물학적으로 타당한 학습 시스템을 설계하기 위해 신경생물학적 증거와 제어 이론 원리를 융합한 하이브리드 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 적응형 동적 프로그래밍을 확장하여 뇌의 최고 수준의 인지 기능, 예를 들어 창의성과 상상력을 모델링할 수 있는가?
• RQ2 현재 ADP 기반의 뇌 지능 모델에서 발생하는 공간 복잡성 격차를 극복하기 위해 어떤 아키텍처적 및 알고리즘적 개선이 필요한가?
• RQ3 뇌의 내부 보상 및 예측 시스템을 모방할 수 있도록 유틸리티 함수를 효과적으로 모델링하고 학습시키는 방법은 무엇인가?
• RQ4 기존의 적응형 크리틱 시스템은 기본 강화 학습을 넘어서 영양동물 뇌 능력을 얼마나 잘 재현할 수 있는가?
• RQ5 시간적 및 공간적 추상화를 ADP에 통합하여 장기 수평 계획 및 복잡한 의사결정을 지원하는 방법은 무엇인가?

주요 결과

• 논문은 적응형 동적 프로그래밍이 고급 뇌 지능을 모델링하고 재현하기 위한 타당한 이론적 및 계산적 프레임워크임을 입증한다.
• 공간 복잡성 격차를 해소하기 위해 새로운 ADP 도구가 제안되어 더 스케일러블하고 생물학적으로 타당한 인지 모델링을 가능하게 한다.
• 이론적 및 경험적 증거는 유틸리티 함수와 재귀적 계획이 뇌 유사 지능에서 중요한 역할을 하며, 관찰된 신경 메커니즘과 일치함을 지지한다.
• ADP 시스템에 내부 시뮬레이션과 상상력 기능을 통합함으로써 더 강력하고 민첩한 의사결정 능력이 가능해져 인간 수준의 인지 성능에 가까워진다.
• 이 프레임워크는 제1세대 및 제2세대 적응형 크리틱을 초월하여 뇌 기반 인공 지능을 위한 제3세대 모델로의 길을 열어 놓는다.
• 시간 역학과 신경 시계 메커니즘의 통합은 장기 수평 작업과 예측적 추론 능력을 향상시킨다.