[논문 리뷰] Predictive representations: building blocks of intelligence

Wilka Carvalho, Momchil S. Tomov외 3명|arXiv (Cornell University)|2024. 02. 09.

Cognitive Science and Education Research인용 수 4

한 줄 요약

이 논문은 예측 표현—특히 슈퍼세서 표현(SR) 및 그 일반화된 형태—이 인공 및 생물학적 시스템에서 효율적이고도 영리하며 확장 가능한 의사결정을 가능하게 하므로 지능의 기본 구성 요소로 기능한다고 제안한다. 작업에 관련된 예측을 캐시함으로써 이러한 표현들은 계산 제약 조건 하에서도 빠른 추론을 가능하게 하며, 탐색, 전이 학습, 계층적 제어, 신경계 계산 등에서 그 역할에 대해 강력한 이론적, 인공지능, 인지과학, 신경과학적 근거를 지닌다.

ABSTRACT

Adaptive behavior often requires predicting future events. The theory of reinforcement learning prescribes what kinds of predictive representations are useful and how to compute them. This paper integrates these theoretical ideas with work on cognition and neuroscience. We pay special attention to the successor representation (SR) and its generalizations, which have been widely applied both as engineering tools and models of brain function. This convergence suggests that particular kinds of predictive representations may function as versatile building blocks of intelligence.

연구 동기 및 목표

• 인공 및 생물학적 시스템 전반에서 지능적 행동을 위한 효율적이고 재사용 가능한 구성 요소로 기능하는 예측 표현을 식별하고 형식화하기.
• 일반적인 질의에 대한 답을 캐시함으로써 지능적 시스템의 유연성-효율성 간 상충 문제를 해결하는 예측 표현을 제안하여 계산 비용을 감소시키기.
• 강화학습, 인지과학, 신경과학에서의 통찰을 통합하기 위해 뇌가 의사결정, 탐색, 기억에 있어 유사한 예측 표현을 사용할 가능성이 있음을 보여주기.
• 일반화된 예측 표현—예를 들어 슈퍼세서 특징(SF)과 슈퍼세서 모델(SM)—이 AI에서 전이 학습, 계층적 계획, 다중 에이전트 협업 등의 강력한 능력을 가능하게 하며, 그 기여를 보여주기.
• 이러한 표현을 뇌의 신경 기제(예: 도파민 신호 전달 및 해마의 재생)와 연결하는 생물학적으로 타당한 학습 알고리즘 제공하기.

제안 방법

• 특정 예측 질의에 대한 캐시된 해법으로서의 예측 표현을 형식화하여, 전체 예측 모델과의 차이를 명확히 하여 영리함과 효율성의 균형을 이루기.
• 정책 하에서 미래 상태 방문의 기대값을 캡슐화하는 행렬로써 슈퍼세서 표현(SR)을 도입하여 선형 대수학을 통해 빠른 가치 함수 추론을 가능하게 하기.
• SR을 슈퍼세서 특징(SFs)으로 일반화하여 미래 상태의 임의의 특징에 대한 예측을 일반화함으로써, 보상 함수가 다른 작업 간 전이 학습을 가능하게 하기.
• SR의 확률적 일반화로서의 슈퍼세서 모델(SMs)을 제안하여 미래 상태 분포에서 샘플링이 가능하게 하고, 더 rich한 계획 및 추론을 지원하기.
• 다양한 행동을 가중치 조합된 SFs를 통해 통합하는 일반화된 정책 개선(GPI)을 적용하여 적응형 행동 선택 가능하게 하기.
• SR를 사용하여 옵션을 연결하는 옵션 키보드 프레임워크를 도입하여, 효율적인 옵션 발견과 전이를 가능하게 하는 계층적 강화학습 구현하기.

Figure 1: Algorithmic solutions to the RL problem . An agent solving a three-armed maze (bottom) can adopt different classes of strategies (top). Model-based strategies (left) learn an internal model of the environment, including the transition function ( $T$ ), the reward function ( $R$ ), and (opt

실험 결과

연구 질문

• RQ1 강화학습에서 효율적이고도 영리한 의사결정을 위해 가장 효과적인 예측 표현은 무엇인가?
• RQ2 표준 SR을 초월하여 전이 학습, 계층적 제어, 다중 작업 학습을 지원하기 위해 예측 표현을 어떻게 일반화할 수 있는가?
• RQ3 뇌에서 슈퍼세서 표현(SR)과 슈퍼세서 특징(SFs)을 구현할 수 있는 신경 기제는 무엇이며, 관찰된 신경 활동 패tern과 어떻게 관련되는가?
• RQ4 도파민 뉴런은 슈퍼세서 특징과 모델의 학습을 지원하는 벡터 값 예측 오차를 어떻게 표현하는가?
• RQ5 예측 표현이 인공지능, 인지과학, 신경과학을 통합하여 지능적 행동을 설명하는 데 얼마나 효과적인가?

주요 결과

• 슈퍼세서 표현(SR)은 미래 상태 방문의 기대값을 캐시함으로써 가치 함수 추론을 빠르게 하여, 전체 예측 모델 대비 계산 비용을 크게 감소시킨다.
• 슈퍼세서 특징(SFs)은 미래 상태 예측과 보상 설계를 분리함으로써 보상 함수가 다른 작업 간 전이 학습을 가능하게 하며, 가치 함수의 효율적 재가중 가능성을 제공한다.
• 슈퍼세서 모델(SMs)은 SR을 확률적 미래 상태 예측으로 일반화하여 샘플링 기반 및 평가 기반 추론을 모두 지원하며, 계획 및 탐색 능력을 향상시킨다.
• fMRI 연구 데이터에서 인간의 기억 회상 과정 중 순차적 신경 활동 패턴이 그래프 기반 환경에서 학습된 SR 모델의 예측과 유사함을 보여주어 SR의 신경 기반을 뒷받침한다.
• 도파민 뉴런 집단은 감각 특징 예측을 포함한 벡터 값 예측 오차를 인코딩하며, 이는 슈퍼세서 특징의 학습을 지원하고 비스칼라 도파민 반응을 설명한다.
• 기억 시스템 내의 시간적 맥락 모델(TCM)은 생물학적으로 타당한 SR 추정기로 해석될 수 있으며, 예측 표현을 통해 에피소딕 기억과 의사결정을 연결한다.

Figure 2: The successor representation (SR). We present (a) a schematic of an environment where the agent is a red box at state $s_{13}$ and the goal is a green box at state $s_{5}$ . In general, an SR $M^{\pi}(s,\tilde{s})$ (Eq. 13 ) describes the discounted state occupancy for state $\tilde{s}$ wh