[論文レビュー] Meta-Learning surrogate models for sequential decision making

Alexandre Galashov, Jonathan Schwarz+6 more|arXiv (Cornell University)|Mar 28, 2019

Adversarial Robustness in Machine Learning参考文献 70被引用数 10

ひとこと要約

本稿では、確率的モデル—特にNeural Processesを用いて、関連するタスク間でデータ効率的で不確実性を考慮した適応を可能にする、順次意思決定のためのメタラーニング代理モデルフレームワークを提案する。タスクの分布上で事前学習することで、ベイズ最適化、コンテキストバンディット、強化学習において、最小限の微調整で高速かつ一般化可能な最適化を達成し、ベースラインを上回る性能を発揮するとともに、不確実性の推定がキャリブレーションされている。

ABSTRACT

We introduce a unified probabilistic framework for solving sequential decision making problems ranging from Bayesian optimisation to contextual bandits and reinforcement learning. This is accomplished by a probabilistic model-based approach that explains observed data while capturing predictive uncertainty during the decision making process. Crucially, this probabilistic model is chosen to be a Meta-Learning system that allows learning from a distribution of related problems, allowing data efficient adaptation to a target task. As a suitable instantiation of this framework, we explore the use of Neural processes due to statistical and computational desiderata. We apply our framework to a broad range of problem domains, such as control problems, recommender systems and adversarial attacks on RL agents, demonstrating an efficient and general black-box learning approach.

研究の動機と目的

• 現在の順次意思決定アルゴリズムが人間と比べて桁違いに多くの経験を必要としている、データ非効率性の問題を解決すること。
• ベイズ最適化、コンテキストバンディット、強化学習といった多様な順次意思決定問題を、1つの確率的メタラーニングフレームワークで統一すること。
• 関連する問題の分布からデータ駆動型の事前分布を学習することで、新しいタスクへの高速適応を可能にすること。
• 意思決定における探索と活用のトレードオフを効果的に行うために、キャリブレーションされた予測不確実性を組み込むこと。
• ロボット制御、レコメンデーションシステム、RLエージェントへの敵対的攻撃といった多様な分野において、一般化性と効率性を示すこと。

提案手法

• 本フレームワークは、関連するタスクの分布から関数の事前分布を学習する確率的メタラーニングモデル、具体的にはNeural Processesを用い、少数の観測値で新しいタスクへの高速適応を可能にする。
• 各タスクはコンテキストポイント（x, y）のペアで構成され、モデルは関数の事後分布を予測するように学習される。
• 意思決定のため、トムソンサンプリングが用いられ、モデルの予測分布からサンプリングすることで、探索と活用のバランスを取る。
• 代理モデルは、観測された関数評価の少量を用いて、事前に学習された事前分布を活用して、ターゲットタスクで微調整される。
• ブラックボックス最適化をサポートするため、ターゲット関数を推論すべき隠れ関数として扱い、モデルの予測分散によって不確実性が定量化される。
• ハイパーパラメータ探索はNeural Process代理モデルを用いたベイズ最適化で実施され、メトリクスとしてmazesとエージェント間で正規化可能なスケーリング済み最小報酬が使用される。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングされた代理モデルは、標準ベースラインと比較して、順次意思決定タスクにおけるサンプル複雑性を顕著に低減できるか？
• RQ2 1つのメタラーニングモデルが、ロボット制御、レコメンデーションシステム、敵対的RL攻撃といった多様なタスクにどれほど一般化できるか？
• RQ3 確率的メタラーニングモデルによるキャリブレーションされた不確実性の組み込みが、ベイズ最適化やバンディット問題における探索と収束性をどの程度改善するか？
• RQ4 サンプル効率性と不確実性キャリブレーションの観点から、Neural Processベースの代理モデルは、他のモデル（例：GP、DKL、BBB）と比較してどの程度の性能を示すか？
• RQ5 本フレームワークは、迷路ナビゲーションやフルステートRLポリシー探索といった複雑で高次元の意思決定問題に対しても、効果的に適用可能か？

主な発見

• メタラーニングされたNeural Process代理モデルは、収束速度とサンプル効率性の観点で、GP、DKL、BBBといったベースラインを著しく上回る、ベイズ最適化タスクにおける最先端の性能を達成した。
• 位置探索タスクでは、標準ベースラインと比較して最適性能に到達するための評価回数を最大50％まで削減し、200の迷路で平均スケーリング済み最小報酬が0.92を達成した。
• フルサーチ問題では、100回のランダムシミュレーションで平均スケーリング済み最小報酬が0.88を達成し、複雑で高次元の状態空間への強力な一般化能力を示した。
• 本フレームワークは、RLエージェントへの敵対的攻撃や異種ロボットアームの制御を含む多様な分野で堅牢な性能を示し、広範な適用可能性を示した。
• Neural Processesの使用により、不確実性のキャリブレーションが効果的に行われ、確率的でない、またはメタラーニングされていないモデルと比較して、より良い探索とより速い収束が実現された。
• 代理モデルを用いたハイパーパラメータチューニングにより、ランダム探索やグリッドサーチと比較して、必要な評価回数が3〜5倍まで削減された。最適化における効率性が裏付けられた。