[論文レビュー] Meta-learning of Sequential Strategies

Pedro A. Ortega, Jane X. Wang+22 more|arXiv (Cornell University)|May 8, 2019

Machine Learning and Data Classification参考文献 78被引用数 34

ひとこと要約

この論文は、サンプル効率の高い逐次予測と意思決定のための memory-based meta-learning を評価し、それを Bayesian 文脈で位置づけ、学習された memory dynamics が amortized Bayes-filtered data を実現して Bayes-optimal な戦略に近づくことを示します。

ABSTRACT

In this report we review memory-based meta-learning as a tool for building sample-efficient strategies that learn from past experience to adapt to any task within a target class. Our goal is to equip the reader with the conceptual foundations of this tool for building new, scalable agents that operate on broad domains. To do so, we present basic algorithmic templates for building near-optimal predictors and reinforcement learners which behave as if they had a probabilistic model that allowed them to efficiently exploit task structure. Furthermore, we recast memory-based meta-learning within a Bayesian framework, showing that the meta-learned strategies are near-optimal because they amortize Bayes-filtered data, where the adaptation is implemented in the memory dynamics as a state-machine of sufficient statistics. Essentially, memory-based meta-learning translates the hard problem of probabilistic sequential inference into a regression problem.

研究の動機と目的

• データ効率が高く、タスククラスを横断する適応型エージェントを構築するツールとして memory-based meta-learning を定義する。
• memory-based meta-learning を Bayesian フレームワーク内で再定式化し、 amortized Bayes-filtered data を介してほぼ最適性を示す。
• ほぼ最適な予測子と強化学習者のための基本的なアルゴリズム模板を提供する。
• memory dynamics と十分統計量との関係を illustrating する。
• memory-based meta-learning のスケーラビリティ、実践的含意、将来の課題を議論する。

提案手法

• 逐次予測と意思決定のためのクラスの生成器を用いたベイズ的定式化を提示する。
• meta-learning が期待損失のモンテカルロ近似を最適化し、Bayes-mixture predictor を近似することを示す。
• predictor が履歴を次時点の予測へ写像し、十分統計量を符号化するメモリ状態を保持する memory-based regression interface を課す。
• meta-learned 関数が過去情報と十分統計量を反映する状態機械を実装することを示す。
• フレームワークを対話設定へ拡張し、 Thompson sampling を meta-learned policy 改善戦略として議論する。
• meta-learned 解を Bayes-optimality へ結びつけ、Bayesian 更新の amortization を論じる。
• memory-based アーキテクチャ（例：RNNs/LSTMs）を勾配ベースの最適化で訓練し、提案模板を実現する。

実験結果

リサーチクエスチョン

• RQ1 memory-based meta-learning をベイズ問題として位置づけ、逐次予測をほぼ最適にするにはどうするべきか。
• RQ2 memory dynamics が新しいタスクへの適応に必要な十分統計量を符号化する役割は何か。
• RQ3 テスト時に explicit な確率推論を行わずに、メタ学習を用いてほぼ最適な予測子と強化学習者を構築できるか。
• RQ4 Thompson sampling と Bayes-optimal 戦略は、逐次的意思決定問題における memory-based meta-learning からどのように生じるか。
• RQ5 memory-based meta-learning をより広い領域へスケールさせるには、理論的・実践的にはどんな含意があるか。

主な発見

• ベイズ的解釈は memory-based meta-learning が Bayes-filtered データを amortize できることを示し、確率的な逐次推論を回帰問題へ転換する。
• meta-learned 戦略は過去の十分統計量を符号化する memory ドリブンな状態機械を実装し、効率的な適応を可能にする。
• 逐次予測では、 meta-learned predictor が Bayes posterior predictive を近似し、圧縮ベースの損失でほぼ最適を達成する。
• 逐次意思決定では、本フレームワークが Thompson sampling を自然な meta-learned 探索戦略として支持し、Bayes-optimal コントロールと結びつく。
• このアプローチは、広いタスク分布の下でほぼ最適な予測子と強化学習者の基本的アルゴリズム模板を提供する。
• この研究は meta-learning の成果を古典的なベイズ統計と結びつけ、スケーラビリティと将来の課題について議論する。