[논문 리뷰] An Approximate Bayesian Approach to Surprise-Based Learning

Vasiliki Liakoni, Alireza Modirshanechi외 2명|arXiv (Cornell University)|2019. 07. 05.

Statistical Mechanics and Entropy참고 문헌 19인용 수 1

한 줄 요약

이 논문은 비정상 환경에서 효율적인 적응을 가능하게 하기 위해 놀라움 신호를 통해 학습률을 동적으로 조절하는 근사 베이지안 추론을 사용하는 놀라움 기반 학습 프레임워크를 제안한다. 지수족 분포에 대해 단순하고 확장 가능한 업데이트 규칙을 가진 새로운 입자 필터와 변분 필터를 도입하여 기존의 근사 방법보다 매개변수 추정 성능을 뛰어나게 하면서도 더 비싼 알고리즘과 유사한 성능을 달성한다.

ABSTRACT

Surprise-based learning allows agents to adapt quickly in non-stationary stochastic environments. Most existing approaches to surprise-based learning and change point detection assume either implicitly or explicitly a simple, hierarchical generative model of observation sequences that are characterized by stationary periods separated by sudden changes. In this work we show that exact Bayesian inference gives naturally rise to a surprise-modulated trade-off between forgetting and integrating the new observations with the current belief. We demonstrate that many existing approximate Bayesian approaches also show surprise-based modulation of learning rates, and we derive novel particle filters and variational filters with update rules that exhibit surprise-based modulation. Our derived filters have a constant scaling in observation sequence length and particularly simple update dynamics for any distribution in the exponential family. Empirical results show that these filters estimate parameters better than alternative approximate approaches and reach comparative levels of performance to computationally more expensive algorithms. The theoretical insight of casting various approaches under the same interpretation of surprise-based learning, as well as the proposed filters, may find useful applications in reinforcement learning in non-stationary environments and in the analysis of animal and human behavior.

연구 동기 및 목표

• 다양한 근사 베이지안 접근법을 놀라움 기반 학습 해석이라는 공통된 틀로 통합하기 위해.
• 비정상 환경에서 놀라움 신호에 기반해 학습을 조절하는 계산적으로 효율적인 필터를 개발하기 위해.
• 지수족 분포에 대해 관측 시퀀스 길이에 대해 일정한 스케일링을 가지는 업데이트 규칙을 유도하기 위해.
• 기존의 근사 베이지안 방법보다 매개변수 추정 정확도를 향상시키기 위해.
• 강화 학습 및 적응형 에이전트의 행동 분석과 같은 실용적 적용을 가능하게 하기 위해.

제안 방법

• 근사 베이지안 추론을 사용하여 망각과 새로운 관측값 통합 사이의 놀라움에 의해 조절되는 트레이드오프를 유도한다.
• 놀라움에 의해 내재적으로 조절되는 업데이트 규칙을 가진 새로운 입자 필터와 변분 필터를 도입한다.
• 관측 시퀀스 길이에 대해 일정한 스케일링 메커니즘을 적용하여 계산 효율성을 확보한다.
• 모든 지수족 분포에 적용 가능하게 하여 광범위한 적용 가능성을 확보한다.
• 복잡한 관측 시퀀스에 대해서도 해석적으로 다룰 수 있고 단순한 업데이트 역학을 도출한다.
• 기존의 근사 베이지안 방법과 놀라움 기반 학습 파라다임 사이의 이론적 연결 고리를 설정한다.

실험 결과

연구 질문

• RQ1 놀라움 신호는 근사 베이지안 추론에서 동적으로 학습률을 조절하는 데 어떻게 활용될 수 있는가?
• RQ2 기존의 근사 베이지안 방법과 놀라움 기반 학습 사이의 이론적 연결 고리는 무엇인가?
• RQ3 단순성과 확장성은 유지하면서 추정 정확도를 향상시키는 새로운 필터를 도출할 수 있는가?
• RQ4 제안된 필터는 계산적으로 더 비싼 알고리즘보다 성능가능성이 어떻게 뛰어나게 되는가?
• RQ5 놀라움 기반 학습은 비정상 환경에서 적응 행동을 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 필터는 다른 근사 베이지안 접근법보다 더 나은 매개변수 추정 성능을 달성한다.
• 더 비싼 알고리즘과 유사한 성능 수준에 도달한다.
• 업데이트 규칙이 관측 시퀀스 길이에 대해 일정한 스케일링을 보이며 효율성을 보장한다.
• 놀라움 기반 학습의 관점에서 다양한 근사 베이지안 방법을 통합적인 해석으로 제공한다.
• 유도된 필터는 지수족 분포에 대해 특히 단순하고 효과적이다.
• 이론적 분석을 통해 정확한 베이지안 추론이 자연스럽게 놀라움에 의해 조절되는 학습률 적응을 유도한다는 것이 확인된다.