[논문 리뷰] A neurally plausible model learns successor representations in partially observable environments

Eszter Vértes, Maneesh Sahani|arXiv (Cornell University)|2019. 06. 22.

Neural dynamics and brain function참고 문헌 20인용 수 27

한 줄 요약

이 논문은 분포적 후속 기능(DSFs)을 기반으로 한 분산 분포 코딩(DDC)을 사용하여 부분 관찰 환경에서 후속 표현(SR)을 학습하는 신경적으로 타당한 모델을 제안한다. 잠재 상태 추론을 SR 계산과 통합함으로써, 노이즈가 많고 정보가 불완전한 관찰 조건에서도 효율적인 가치 함수 추정과 강화 학습을 가능하게 하며, 원시 관찰에만 의존하는 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Animals need to devise strategies to maximize returns while interacting with their environment based on incoming noisy sensory observations. Task-relevant states, such as the agent's location within an environment or the presence of a predator, are often not directly observable but must be inferred using available sensory information. Successor representations (SR) have been proposed as a middle-ground between model-based and model-free reinforcement learning strategies, allowing for fast value computation and rapid adaptation to changes in the reward function or goal locations. Indeed, recent studies suggest that features of neural responses are consistent with the SR framework. However, it is not clear how such representations might be learned and computed in partially observed, noisy environments. Here, we introduce a neurally plausible model using distributional successor features, which builds on the distributed distributional code for the representation and computation of uncertainty, and which allows for efficient value function computation in partially observed environments via the successor representation. We show that distributional successor features can support reinforcement learning in noisy environments in which direct learning of successful policies is infeasible.

연구 동기 및 목표

• 관측되지 않는 상태를 가진 부분 관찰 환경에서 후속 표현을 학습하는 데 도전하는 것.
• 상태 전이와 미래 가치 추정의 불확실성을 표현하고 계산하는 생물학적으로 타당한 메커니즘을 개발하는 것.
• 노이즈가 많고 불확실한 환경에서 효율적인 강화 학습을 위해 잠재 상태 추론을 후속 표현과 통합하는 것.
• 직접 관찰 기반 학습이 실패하는 상황에서 분포적 후속 기능이 효과적인 정책 학습을 지원할 수 있음을 보여주는 것.

제안 방법

• 모델는 노이즈가 많은 관찰에서 확률적 추론을 가능하게 하기 위해 잠재 상태에 대한 불확실성을 표현하기 위해 분산 분포 코딩(DDC)을 사용한다.
• 상태-행동에 의존하는 확률적 방식으로 미래 상태 점유를 인코딩하는 분포적 후속 기능(DSFs)을 도입한다.
• 생성 모델은 잠재 상태의 동역학을 학습하고, 인식 모델은 관찰에서 잠재 상태의 사후 분포를 추론한다.
• 가치 함수는 상태 및 행동 특징의 이차형 변환을 통해 계산되며, 학습된 전이 연산자 P를 사용해 다음 상태 기대치를 예측한다.
• 계산된 Q-값을 바탕으로 탐욕적 행동 선택을 통해 정책을 도출하며, 고리 인식기 유사 신경적 구현을 통해 생물학적 타당성이 제안된다.
• 오프라인 학습 중 인식 모델을 향상시키기 위해 복귀 메커니즘을 제안하며, 이는 휴식 중 해마의 복귀를 모방한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 감각 입력이 존재하는 부분 관찰 환경에서 후속 표현은 어떻게 학습하고 계산할 수 있는가?
• RQ2 잠재 상태 추론의 불확실성은 효과적인 강화 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 직접 관찰 기반 학습이 실패할 경우 분포적 후속 기능이 가치 함수 계산과 정책 학습을 지원할 수 있는가?
• RQ4 후속 표현을 위한 뇌 유사 추론 및 계획 메커니즘은 어떻게 단일 신경적으로 타당한 프레임워크에 통합될 수 있는가?
• RQ5 해마의 복귀 기능은 부분 관찰 환경에서 후속 표현 학습에 있어 어떤 기능적 역할을 하는가?

주요 결과

• 모델는 유추된 잠재 상태 또는 직접 관찰을 사용할 때 분포적 후속 기능을 활용하여 가치 함수와 정책을 성공적으로 학습하였으며, 원시 관찰에만 의존하는 모델보다 뛰어난 성능을 보였다.
• 분포적 후속 기능을 사용한 에이전트는 100 에피소드 동안의 히스토GRAM 분포에서 높은 보상을 수집하여 안정적이고 효과적인 정책 학습을 보였다.
• 유추된 상태(μ)에서 계산된 가치 함수는 진정한 상태 기반 진정한 가치 함수와 매우 유사했으며, 정확한 잠재 상태 추론을 입증했다.
• 모델는 직접 관찰 기반 학습이 감각 노이즈와 모호성으로 인해 실패하는 부분 관찰 설정에서도 강건함을 보였다.
• DDC와 후속 표현의 통합은 미래 상태 점유 및 가치 함수의 효율적이고 생물학적으로 타당한 계산을 가능하게 했다.
• 복귀 메커니즘이 인식 모델을 향상시키며, 해마의 복귀가 잠재 상태 동역학과 불확실성 표현을 학습하는 데 기여한다는 가설을 뒷받침했다.