[논문 리뷰] Better transfer learning with inferred successor maps

Tamás J. Madarász|arXiv (Cornell University)|2019. 06. 18.

Machine Learning and Algorithms참고 문헌 51인용 수 15

한 줄 요약

이 논문은 보상 함수의 비모수적 군집화를 통해 후계자 지도를 추론함으로써 후계자 표현(SR)을 향상시키는 새로운 전이 학습 프레임워크를 제안한다. 이는 변화하는 보상에 효율적으로 적응할 수 있도록 한다. 탄력적인 SR 지도 집합에 대한 압축 추론과 유사도 기반 정책 재활용을 통해, 명시적 작업 경계가 없을 경우를 포함한 알려진 및 알려지지 않은 보상 변화 모두에서 베이스라인을 능가한다. 또한 해마의 '깜빡임' 현상과 분할자 세포와 같은 신경생물학적 현상을 설명한다.

ABSTRACT

Humans and animals show remarkable flexibility in adjusting their behaviour when their goals, or rewards in the environment change. While such flexibility is a hallmark of intelligent behaviour, these multi-task scenarios remain an important challenge for machine learning algorithms and neurobiological models alike. We investigated two approaches that could enable this flexibility: factorized representations, which abstract away general aspects of a task from those prone to change, and nonparametric, memory-based approaches, which can provide a principled way of using similarity to past experiences to guide current behaviour. In particular, we combine the successor representation (SR) that factors the value of actions into expected outcomes and corresponding rewards with evaluating task similarity through clustering the space of reward functions. The proposed algorithm inverts a generative model over tasks, and dynamically samples from a flexible number of distinct SR maps while accumulating evidence about the current task context through amortized inference. It improves SR's transfer capabilities and outperforms competing algorithms and baselines in settings with both known and unsignalled rewards changes. Further, as a neurobiological model of spatial coding in the hippocampus, it explains important signatures of this representation, such as the "flickering" behaviour of hippocampal maps, and trajectory-dependent place cells (so-called splitter cells) and their dynamics. We thus provide a novel algorithmic approach for multi-task learning, as well as a common normative framework that links together these different characteristics of the brain's spatial representation.

연구 동기 및 목표

• 보상 함수가 변화할 때, 특히 명시적 작업 경계가 없는 상황에서 효율적인 전이 학습을 해결한다.
• 주요 보상 변화 이후 효과적인 전이를 방해하는 표준 후계자 표현의 정책 의존성을 극복한다.
• 해마에서의 경험적 발견(예: 깜빡임 지도와 궤도 의존성 장소 세포)을 설명할 수 있는 신경과학적으로 기반을 둔 프레임워크를 개발한다.
• 비모수적이고 기억 기반의 추론을 요인 분해 표현과 통합하여, 제한된 메모리와 계산 비용으로 지속적인 학습을 가능하게 한다.

제안 방법

• 작업에 대한 생성 모델을 사용하여, 후계자 지도 집합에 대한 압축 추론을 통해 현재 작업 맥락을 뒤집고 추론한다.
• 커널 기반의 확산 표현을 사용하여 보상 함수 공간을 군집화하여 과거 정책의 유사도 기반 검색을 가능하게 한다.
• 가중치가 작업 유사도에서 추론되는 후계자 표현(SRs)과 해당 보상 지도(CRs)의 혼합으로 가치 함수를 표현한다.
• 현재 보상 함수에 기반하여 비모수적 베이지안 방법을 사용해 가변 수의 SR 지도에서 동적으로 샘플링한다.
• 고정된 정책 엔트로피를 가정하지 않고 보상 함수 간의 부드러운 유사도 추정을 가능하게 하기 위해 컨볼루션 기반의 확산 보상 표현을 적용한다.
• 경험 재생을 SR 전용 버퍼에서 샘플링하여, 지속적인 학습을 위한 군집화 및 추론 과정과 통합한다.

실험 결과

연구 질문

• RQ1 큰 변화와 사전 알림이 없는 보상 함수 변화에 대해 후계자 표현이 재해를 입지 않도록 어떻게 더 강건하게 만들 수 있는가?
• RQ2 보상 함수의 비모수적 군집화가 작업 유사성 기반 정책 재사용을 가능하게 하여 전이 학습을 향상시킬 수 있는가?
• RQ3 공통의 요인 분해 표현된 미래 상태 예측(SR)과 작업별 보상 지도(CR)의 조합이 표준 SR보다 지속적인 학습을 더 잘 지원하는가?
• RQ4 이 프레임워크는 해마의 '깜빡임'과 궤도 의존성 장소 세포(분할자 세포)와 같은 신경생물학적 서명을 설명할 수 있는가?
• RQ5 보상 함수 추론의 불확실성은 표현 전환 및 행동 궤적의 역학에 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법인 베이지안 후계자 표현(BSR)은 알려진 및 알려지지 않은 보상 변화가 있는 내비게이션 작업에서 표준 SR 및 이전 베이스라인 대비 전이 성능을 크게 향상시킨다.
• BSR은 유사한 보상 함수를 군집화하고 현재 작업 유사도에 기반해 적절한 SR 지도를 동적으로 선택함으로써 효율적인 정책 재사용을 가능하게 한다.
• 모델은 핵심 신경생물학적 현상을 재현한다: 작업 정체성에 대한 불확실성으로 인한 해마 지도의 '깜빡임', 그리고 동적 지도 전환에 기인한 궤도 의존성 장소 세포(분할자 세포).
• 모델은 현재 보상 함수에 대한 불확실성이 높을수록 지도 깜빡임 빈도가 증가하고, 지도 선택 오류로 인한 최적화되지 않은 궤적이 발생할 것임을 예측한다.
• 경험한 보상 공간의 다양성이 높을수록 활성화된 후계자 지도의 수가 증가할 것임을 예측하여, 동적이고 적응형 표현 용량을 시사한다.
• 모델은 후계자 지도에 대한 혼합 가중치를 표현하는 데 정수체 피질이 가장 가능성 있는 신경 기초로 식별되었으며, 보상 지도(CR) 표현은 시상 피질이 가장 가능성 있는 기초로 식별되었다.