[論文レビュー] An Approximate Bayesian Approach to Surprise-Based Learning

Vasiliki Liakoni, Alireza Modirshanechi+2 more|arXiv (Cornell University)|Jul 5, 2019

Statistical Mechanics and Entropy参考文献 19被引用数 1

ひとこと要約

本稿では、近似的ベイズ推論を用いた驚きに基づく学習フレームワークを提案する。このフレームワークは、驚きの信号を通じて学習率を動的に調整することで、非定常環境における効率的な適応を可能にする。指数分布族に属する分布に対して、シンプルでスケーラブルな更新ルールを持つ、新規のパーティクルフィルタおよび変分フィルタを導入し、既存の近似的手法よりもパラメータ推定において優れた性能を発揮するとともに、より高コストなアルゴリズムと同等の性能を達成する。

ABSTRACT

Surprise-based learning allows agents to adapt quickly in non-stationary stochastic environments. Most existing approaches to surprise-based learning and change point detection assume either implicitly or explicitly a simple, hierarchical generative model of observation sequences that are characterized by stationary periods separated by sudden changes. In this work we show that exact Bayesian inference gives naturally rise to a surprise-modulated trade-off between forgetting and integrating the new observations with the current belief. We demonstrate that many existing approximate Bayesian approaches also show surprise-based modulation of learning rates, and we derive novel particle filters and variational filters with update rules that exhibit surprise-based modulation. Our derived filters have a constant scaling in observation sequence length and particularly simple update dynamics for any distribution in the exponential family. Empirical results show that these filters estimate parameters better than alternative approximate approaches and reach comparative levels of performance to computationally more expensive algorithms. The theoretical insight of casting various approaches under the same interpretation of surprise-based learning, as well as the proposed filters, may find useful applications in reinforcement learning in non-stationary environments and in the analysis of animal and human behavior.

研究の動機と目的

• 多様な近似的ベイズ的手法を、共通の驚きに基づく学習解釈の枠組みで統一すること。
• 非定常環境における驚き信号に基づいて学習を調整する、計算的に効率的なフィルタを開発すること。
• 指数分布族の分布に対して、観測系列長に対して定数スケーリングを示す更新ルールを導出すること。
• 既存の近的ベイズ手法と比較して、パラメータ推定の精度を向上させること。
• 強化学習や適応的エージェントの行動分析における実用的応用を可能にすること。

提案手法

• 近似的ベイズ推論を用いて、忘却と新規観測の統合の間のトレードオフを驚き信号で制御する。
• 更新ルールが驚きによって内因的に制御される、新規のパーティクルフィルタおよび変分フィルタを導入する。
• 観測系列長に対して定数スケーリングを実現するメカニズムを採用し、計算効率を確保する。
• 任意の指数分布族に属する分布に適用可能であり、広範な適用可能性を実現する。
• 複雑な観測系列に対しても、解析的に扱いやすく単純な更新ダイナミクスを導出する。
• 既存の近的ベイズ手法と驚きに基づく学習パラダイムとの間の理論的関連性を確立する。

実験結果

リサーチクエスチョン

• RQ1 驚き信号を用いて、近的ベイズ推論における学習率を動的に調整する方法は何か？
• RQ2 既存の近的ベイズ手法と驚きに基づく学習との間には、どのような理論的関連性があるか？
• RQ3 単純さとスケーラビリティを維持しつつ、推定精度を向上させる新規のフィルタを導出可能か？
• RQ4 提案されたフィルタは、計算コストの高いアルゴリズムと比較して、性能に優れるか？
• RQ5 驚きに基づく学習は、非定常環境における適応的行動をどのように向上させるか？

主な発見

• 提案されたフィルタは、他の近的ベイズ手法よりも優れたパラメータ推定を達成する。
• より高コストなアルゴリズムと同等の性能に到達する。
• 更新ルールは観測系列長に対して定数スケーリングを示し、効率性を保証する。
• 驚きに基づく学習の観点から、さまざまな近的ベイズ手法を統一的に解釈するフレームワークを提供する。
• 導出されたフィルタは、指数分布族に属する分布に対して特に単純かつ効果的である。
• 理論的分析により、正確なベイズ推論が自然に驚きに基づく学習率適応を誘発することが確認された。