[論文レビュー] Meta-Q-Learning

Rasool Fakoor, Pratik Chaudhari+2 more|arXiv (Cornell University)|Apr 30, 2020

Data Stream Mining Techniques被引用数 7

ひとこと要約

Meta-Q-Learning (MQL) は、過去の軌道を表すコンテキスト変数を組み込み、メタトレーニングにマルチタスク目的を用い、プロパティ推定を用いたオフポリシー更新によって過去の経験を再利用することで、Q学習を強化する新しいオフポリシーmeta-RLアルゴリズムである。MQLは、メタトレーニングデータの再利用を効果的に行うことで、連続制御ベンチマークで最先端の性能を達成する。

ABSTRACT

This paper introduces Meta-Q-Learning (MQL), a new off-policy algorithm for meta-Reinforcement Learning (meta-RL). MQL builds upon three simple ideas. First, we show that Q-learning is competitive with state of the art meta-RL algorithms if given access to a context variable that is a representation of the past trajectory. Second, using a multi-task objective to maximize the average reward across the training tasks is an effective method to meta-train RL policies. Third, past data from the meta-training replay buffer can be recycled to adapt the policy on a new task using off-policy updates. MQL draws upon ideas in propensity estimation to do so and thereby amplifies the amount of available data for adaptation. Experiments on standard continuous-control benchmarks suggest that MQL compares favorably with state of the art meta-RL algorithms.

研究の動機と目的

• サンプル効率と適応速度を向上させるシンプルでありながら効果的なオフポリシーmeta-RLアルゴリズムの開発を目的とする。
• 過去の軌道を符号化するコンテキスト変数を追加することで、Q学習がmeta-RLで競争力を持つようになるかを調査すること。
• 多様なタスクにわたる方策のメタトレーニングにマルチタスク目的がどれほど有効であるかを検討すること。
• オフポリシー更新を用いて、過去のメタトレーニングデータを効率的に再利用し、新しいタスクへの迅速な適応を可能にすること。
• 再利用された経験における分布シフトを補正するためのプロパティ推定を活用することで、meta-RLにおけるデータ効率を向上させること。

提案手法

• 過去の軌道から導出されるコンテキスト変数を導入し、Q学習の更新を条件づけることで、タスク固有の方策適応を可能にする。
• すべてのメタトレーニングタスクの平均リターンを最大化するマルチタスク目的を採用し、方策最適化に用いる。
• 複数のタスクからの過去の経験を含むメタトレーニングリプレイバッファを活用し、オフポリシー適応を可能にする。
• リプレイバッファ内の遷移を再重み付けするためのプロパティスコアを適用し、オフポリシー更新時の分布シフトを補正する。
• オフポリシーQ学習とコンテキストに依存する価値ネットワークを組み合わせ、最小限のデータで新しいタスクへの迅速な適応を実現する。
• トレーニングの安定化とサンプル効率の向上を図るため、ターゲットネットワークを用いたダブルQ学習の更新則を採用する。

実験結果

リサーチクエスチョン

• RQ1 過去の軌道情報を符号化するコンテキスト変数を組み込むことで、Q学習がmeta-RLで競争力を持つようになるか？
• RQ2 マルチタスク目的は、多様なタスクにわたる一般化を実現するメタポリシーのトレーニングにどの程度有効か？
• RQ3 オフポリシー更新を用いて、過去のメタトレーニングデータをどれほど効果的に再利用できるか？
• RQ4 プロパティ推定は、meta-RLにおけるオフポリシー適応の安定性とパフォーマンスを向上させるか？
• RQ5 標準的な連続制御ベンチマークにおいて、MQLは最先端のmeta-RLアルゴリズムと比較してどのように差をつけるか？

主な発見

• Meta-Q-Learning は、標準的な連続制御ベンチマークで最先端のパフォーマンスを達成し、既存のmeta-RLアルゴリズムを上回っている。
• コンテキスト変数の統合により、meta-RLにおけるQ学習のサンプル効率と適応速度が顕著に向上している。
• マルチタスク目的により、メタテスト中に多様なタスクにわたる一般化が良好に実現される強固なメタポリシーが得られた。
• プロパティ補正を伴うオフポリシー更新によって過去のメタトレーニングデータを再利用することで、データ効率が向上し、サンプル複雑性が低減された。
• プロパティ推定の活用により、異なるタスクからの経験を再利用する際のオフポリシー更新の安定性とパフォーマンスが向上した。
• 効果的な経験再利用とコンテキストに配慮した学習のおかげで、MQLは特にデータが少ない環境において優れた一般化能力と迅速な適応能力を示した。