[논문 리뷰] Meta-trained agents implement Bayes-optimal agents

Vladimir Mikulik, Grégoire Delétang외 5명|arXiv (Cornell University)|2020. 10. 21.

Data Stream Mining Techniques참고 문헌 61인용 수 24

한 줄 요약

이 논문은 메타학습된 RNN 에이전트가 다루기 쉬운 예측 및 밴딧 작업에서 베이즈 최적 행동으로 수렴함을 경험적으로 검증하며, 계산 시뮬레이션을 통해 행동적 및 구조적 동치성을 입증한다. 핵심 발견은 메타학습된 에이전트가 충분 통계량을 추적하는 내장된 상태기계를 통해 베이즈 최적 정책을 구현한다는 점으로, 이는 메타학습이 베이즈 추론의 실용적인 수치적 근사임을 보여준다.

ABSTRACT

Memory-based meta-learning is a powerful technique to build agents that adapt fast to any task within a target distribution. A previous theoretical study has argued that this remarkable performance is because the meta-training protocol incentivises agents to behave Bayes-optimally. We empirically investigate this claim on a number of prediction and bandit tasks. Inspired by ideas from theoretical computer science, we show that meta-learned and Bayes-optimal agents not only behave alike, but they even share a similar computational structure, in the sense that one agent system can approximately simulate the other. Furthermore, we show that Bayes-optimal agents are fixed points of the meta-learning dynamics. Our results suggest that memory-based meta-learning might serve as a general technique for numerically approximating Bayes-optimal agents - that is, even for task distributions for which we currently don't possess tractable models.

연구 동기 및 목표

• 이론적으로 주장된 바와 같이 메타학습된 에이전트가 베이즈 최적 행동을 구현하는지 경험적으로 조사하는 것.
• 시뮬레이션 기반 동치성 비교를 통해 메타학습된 에이전트의 계산적 구조를 베이즈 최적 에이전트의 구조와 비교하는 것.
• 베이즈 최적 정책이 메타학습 동역학의 固定点인지 확인하는 것.
• 메타학습된 에이전트가 기억에 저장된 충분 통계량을 통해 작업을 표현하는지 평가하는 것—베이즈 업데이트를 모방함.
• 복잡한 에이전트를 단순하고 잘 알려진 모델로 분석할 수 있도록, 구조적 시뮬레이션 기반의 에이전트 시스템 비교 방법론을 수립하는 것.

제안 방법

• 저자는 이론적 컴퓨터과학에서 유래한 시뮬레이션 기반 접근법을 사용하여, 한 에이전트가 다른 에이전트를 약간의 근사로 시뮬레이션할 수 있는지 평가함으로써 계산 수준에서 에이전트를 비교한다.
• LSTM 기반 메타학습을 사용하여 메모리 기반 메타학습을 수행함으로써, 알려진 베이즈 최적 해가 존재하는 예측 및 밴딧 작업에서 RNN 기반 메타학습 에이전트를 훈련시킨다.
• 메타학습된 에이전트의 계산적 구조는 상태 전이와 메모리 동역학을 추출하여 상태기계로 간주함으로써 분석된다.
• 베이즈 최적 에이전트는 불확실성 하에서 최적 의사결정을 위해 충분 통계량을 유지하는 상태기계로 모델링된다.
• 메타학습된 에이전트와 베이즈 최적 에이전트 간의 예측과 행동을 비교하여 행동 유사성을 평가한다.
• 한 에이전트 시스템의 상태 동역학이 다른 에이전트의 상태 동역학을 얼마나 잘 시뮬레이션하는지 측정함으로써 구조적 동치성을 정량화한다.

실험 결과

연구 질문

• RQ1 알려진 최적 해가 존재하는 작업에서 메타학습된 에이전트가 베이즈 최적 에이전트처럼 행동하는가?
• RQ2 베이즈 최적 정책은 메타학습 훈련 동역학의 고정점인가?
• RQ3 메타학습된 에이전트는 베이즈 최적 에이전트와 유사하게 메모리 동역학에 작업 관련 충분 통계량을 인코딩하는가?
• RQ4 메타학습된 에이전트의 계산적 구조는 베이즈 최적 에이전트의 구조로 약간의 근사로 시뮬레이션될 수 있는가?
• RQ5 메타학습된 에이전트가 명시적인 베이즈 아키텍처 없이도 내부적으로 베이즈 추론을 얼마나 잘 수행하는가?

주요 결과

• 메타학습된 에이전트는 여러 예측 및 밴딧 작업에서 베이즈 최적 에이전트의 예측과 행동과 거의 구분되지 않게 생성한다.
• 메타학습 과정 중에 에이전트의 정책은 베이즈 최적 해로 수렴하며, 이는 베이즈 최적 정책이 학습 동역학의 고정점임을 시사한다.
• 메타학습된 에이전트의 내부 메모리 동역학은 과거 경험의 충분 통계량을 인코딩하는 상태기계에 해당하여 최적의 의사결정을 가능하게 한다.
• 메타학습된 에이전트의 계산적 구조는 베이즈 최적 에이전트에 의해 약간의 근사로 시뮬레이션될 수 있으며, 그 반대의 경우도 마찬가지로 성립함으로써 구조적 동치성이 확인된다.
• 시뮬레이션 방법론은 메타학습된 에이전트와 베이즈 최적 에이전트의 내부 표현 간의 대응 관계를 성공적으로 식별하였으며, 이는 공통된 계산 메커니즘이 존재함을 시사한다.
• 결과는 기억 기반 메타학습이 분석적 모델이 존재하지 않는 경우에도 베이즈 최적 추론의 일반적인 수치적 근사로 기능함을 지지한다.