[논문 리뷰] Meta-learning of Sequential Strategies

Pedro A. Ortega, Jane X. Wang외 22명|arXiv (Cornell University)|2019. 05. 08.

Machine Learning and Data Classification참고 문헌 78인용 수 34

한 줄 요약

본 논문은 샘플 효율적인 순차 예측 및 의사결정을 위한 메모리 기반 메타러닝을 검토하고, 이를 베이지안 맥락에서 프레이밍하며, 학습된 메모리 다이내믹이 감쇠된 베이지안 업데이트를 구현하여 베이즈 최적의 전략에 다가가는 것을 보여준다.

ABSTRACT

In this report we review memory-based meta-learning as a tool for building sample-efficient strategies that learn from past experience to adapt to any task within a target class. Our goal is to equip the reader with the conceptual foundations of this tool for building new, scalable agents that operate on broad domains. To do so, we present basic algorithmic templates for building near-optimal predictors and reinforcement learners which behave as if they had a probabilistic model that allowed them to efficiently exploit task structure. Furthermore, we recast memory-based meta-learning within a Bayesian framework, showing that the meta-learned strategies are near-optimal because they amortize Bayes-filtered data, where the adaptation is implemented in the memory dynamics as a state-machine of sufficient statistics. Essentially, memory-based meta-learning translates the hard problem of probabilistic sequential inference into a regression problem.

연구 동기 및 목표

• task 클래스 전반에서 데이터 효율적이고 적응적인 에이전트를 구축하기 위한 도구로서의 메모리 기반 메타러닝 정의
• 근사적 베이지안 데이터 필터링을 통해 거의 최적에 근접한 베이지안 프레임워크 내에서 메모리 기반 메타러닝 재구성
• 거의 최적의 예측기와 강화학습자를 위한 기본 알고리즘 템플릿 제공
• 메모리 다이내믹과 충분한 통계량 사이의 연결고리 설명
• 메모리 기반 메타러닝의 확장성, 실제적 영향 및 향후 도전 과제 논의

제안 방법

• 시퀀스 생성을 포함하는 클래스의 generators를 이용한 순차 예측 및 의사결정을 위한 베이지안 형식화 제시
• 메타러닝이 Bayes- mixture predictor를 근사하기 위해 기대 손실의 몬테카를로 근사를 최적화한다는 것을 보임
• predictor가 충분한 통계량을 인코딩하는 메모리 상태를 유지하면서 이력(history)을 다음 단계 예측으로 매핑하는 메모리 기반 회귀 인터페이스를 강제
• 메타로 학습된 함수가 과거 정보와 충분한 통계량을 반영하는 상태 기계로서의 전이(transitions)를 구현함을 시연
• 대화형 설정으로의 프레임워크 확장 및 메타러닝된 정책 개선 전략으로서의 톰슨 샘플링 논의
• 메타러닝 솔루션을 베이지안 최적성과 연계하고 베이지안 업데이트의 암묵적 축약(amortization) 논의
• 제안된 템플릿을 구현하기 위해 그래디언트 기반 최적화를 이용한 메모리 기반 아키텍처(RNN/LSTM 등) 사용

실험 결과

연구 질문

• RQ1 메모리 기반 메타러닝을 베이지안 문제로 프레이밍하여 순차 예측을 거의 최적으로 달성할 수 있는가?
• RQ2 새로운 작업에 적응하기 위한 충분한 통계량 인코딩에서 메모리 다이내믹의 역할은 무엇인가?
• RQ3 테스트 시점의 명시적 확률 추론 없이도 메타러닝을 사용해 거의 최적의 예측기와 강화학습자를 구축할 수 있는가?
• RQ4 순차 의사결정 문제에서 톰슨 샘플링과 베이지안 최적 전략이 메타러닝 기반으로 어떻게 나타나는가?
• RQ5 더 넓은 도메인으로 메모리 기반 메타러닝의 확장성에 대한 이론적·실용적 시사점은 무엇인가?

주요 결과

• 베이지안 해석은 메모리 기반 메타러닝이 베이스-필터링 데이터를 암묵적으로 축약(amortize)하여 확률적 순차 추론을 회귀 문제로 전환할 수 있음을 보여준다.
• 메타러닝된 전략은 과거의 충분한 통계량을 인코딩하는 메모리 기반 상태 기계(state machine)를 구현하여 효율적 적응을 가능하게 한다.
• 순차 예측에서 메타러닝된 예측기는 베이지안 사후 예측치를 근사하고 압축 기반 손실에서 거의 최적에 가깝게 달성한다.
• 순차 의사결정에서 프레임워크는 톰슨 샘플링을 자연스러운 메타러닝된 탐색 전략으로 지원하고 베이지안 최적 제어와 연결된다.
• 이 접근법은 광범위한 작업 분포에서 작동하는 거의 최적의 예측기와 강화학습자에 대한 기본 알고리즘 템플릿을 제공한다.
• 이 연구는 메타러닝 결과를 고전적 베이지안 통계와 연결하고 확장성 및 향후 과제에 대해 논의한다.