[논문 리뷰] The Quest for a Common Model of the Intelligent Decision Maker

Richard S. Sutton|arXiv (Cornell University)|2022. 02. 26.

Cognitive Science and Mapping인용 수 4

한 줄 요약

이 논문은 행동, 관찰, 보상으로 세계와 상호작용하는 에이전트를 중심으로 한 통합적이고 다학문적인 지능형 의사결정자 모델을 제안한다. 이 모델은 인지, 의사결정, 내부 평가(가치 함수), 전이 모델(세계 모델)의 네 가지 핵심 구성요소를 포함한다. 주요 기여는 심리학, 신경과학, 인공지능, 경제학, 제어 이론 등 다양한 분야 간의 통일된 개념적 프레임워크를 제공함으로써 용어와 구조를 표준화하고, 더 깊은 다학문적 협력을 가능하게 한다.

ABSTRACT

The premise of the Multi-disciplinary Conference on Reinforcement Learning and Decision Making is that multiple disciplines share an interest in goal-directed decision making over time. The idea of this paper is to sharpen and deepen this premise by proposing a perspective on the decision maker that is substantive and widely held across psychology, artificial intelligence, economics, control theory, and neuroscience, which I call the "common model of the intelligent agent". The common model does not include anything specific to any organism, world, or application domain. The common model does include aspects of the decision maker's interaction with its world (there must be input and output, and a goal) and internal components of the decision maker (for perception, decision-making, internal evaluation, and a world model). I identify these aspects and components, note that they are given different names in different disciplines but refer essentially to the same ideas, and discuss the challenges and benefits of devising a neutral terminology that can be used across disciplines. It is time to recognize and build on the convergence of multiple diverse disciplines on a substantive common model of the intelligent agent.

연구 동기 및 목표

• 지능형 의사결정을 위한 공통 개념적 프레임워크를 식별하고 형식화함으로써 각 분야를 초월하는 데 목적이 있다.
• 심리학, 신경과학, 인공지능, 경제학, 제어 이론 등 다양한 분야 간의 용어와 개념화의 분열 문제를 해결하는 데 목적이 있다.
• 공통적인 구조적 및 기능적 구성요소를 강조하는 중립적이고 광범위하게 적용 가능한 지능형 에이전트 모델을 수립하는 데 목적이 있다.
• 에이전트 설계에 대한 공통된 어휘와 기준점을 제공함으로써 다학문적 연구를 촉진하는 데 목적이 있다.
• 다양한 분야의 통찰을 더 깊이 통합할 수 있도록, 많은 기존 이론과 시스템을 뒷받침하는 핵심 모델을 식별하는 데 목적이 있다.

제안 방법

• 행동, 관찰, 보상, 상태, 목표의 다섯 가지 핵심 신호를 포함하는 일반적인 에이전트-세계 상호작용 프레임워크를 제안한다.
• 에이전트의 네 가지 내부 구성요소를 식별한다: 인지(관찰을 내부 상태로 매핑), 의사결정(정책), 내부 평가(가치 함수), 전이 모델링(세계 모델).
• 이러한 구성요소들이 각 분야에서 별도로 개발되었지만 기능적으로 본질적으로 동일하다고 주장한다.
• 학문적 편향을 피하고 다학문적 사고를 촉진하기 위해 중립적인 용어—'에이전트', '세계', '행동', '관찰', '보상'—를 도입한다.
• 심리학(톨먼의 인지 지ap), 신경과학(도파민이 보상 예측 오차 신호로 기능), 제어 이론, 강화 학습의 역사적 및 현대적 사례를 사용하여 이 모델의 광범위한 적용 가능성을 검증한다.
• 혁신이 이 공통된 구조의 확장 또는 수정으로 이해될 수 있도록, 새로운 에이전트 설계의 기초 기준점으로서 이 모델을 위치시킨다.

실험 결과

연구 질문

• RQ1 지능형 의사결정을 연구하는 다양한 분야에서 공통적으로 공유되는 핵심 구조적 및 기능적 구성요소는 무엇인가?
• RQ2 의사결정 과학 분야의 개념적 프레임워크를 통합하기 위해 중립적이고 다학문적인 용어 체계를 어떻게 개발할 수 있는가?
• RQ3 기존의 심리학, 신경과학, 인공지능, 제어 이론 이론들이 지능형 에이전트에 대한 공통 모델로 어느 정도 수렴하고 있는가?
• RQ4 제안된 공통 모델의 한계는 무엇이며, 왜 내재적 동기나 보조 하위작업과 같은 기능을 포함하지 않는가?
• RQ5 이 공통 모델이 새로운 에이전트 아키텍처를 비교하고 확장하는 데 표준 기준점으로 어떻게 기능할 수 있는가?

주요 결과

• 실제로는 널리 공유되는 다학문적 지능형 에이전트 모델이 존재하지만, 아직 공식적으로 인정되거나 표준화되어 있지는 않다.
• 인지, 정책, 가치 함수, 전이 모델의 네 가지 구성요소는 심리학, 신경과학, 인공지능, 제어 이론 등에서 별개로 개발되고 사용되고 있어 깊은 공통성의 증거가 된다.
• 신경과학에서의 보상 예측 오차 신호(dopamine)는 강화 학습에서의 가치 함수 오차와 직접적으로 대응되며, 이는 다양한 분야 간의 동일한 功能적 등가성을 보여준다.
• 전이 모델, 즉 '세계 모델'은 인지 심리학(Tolman의 인지 지도), 신경과학(해마 기능), 현대 딥 러닝(Bengio, LeCun, Schmidhuber)의 이론에서 중심적인 역할을 한다.
• 이 공통 모델은 에이전트 설계를 비교하는 데 안정적이고 최소한의 프레임워크를 제공하며, 다학문적 진전을 가속화할 잠재력을 지닌다.
• 간단함에도 불구하고 이 모델은 완전하지 않으며, 내재적 동기나 보조 하위작업과 같은 기능은 보편성과 학문적 편향을 피하기 위해 제외된다.