[論文レビュー] Maximum Entropy Gain Exploration for Long Horizon Multi-goal Reinforcement Learning

Silviu Pitis, Harris Chan+3 more|arXiv (Cornell University)|Jul 6, 2020

Reinforcement Learning in Robotics被引用数 38

ひとこと要約

本論文は MEGA と OMEGA を紹介する。過去に達成した目標分布のエントロピーを最大化する内在的目標選択法で、長期的でマルチゴールRLにおける探索を効率化し、従来手法に比べてサンプル効率を大幅に向上させる。

ABSTRACT

What goals should a multi-goal reinforcement learning agent pursue during training in long-horizon tasks? When the desired (test time) goal distribution is too distant to offer a useful learning signal, we argue that the agent should not pursue unobtainable goals. Instead, it should set its own intrinsic goals that maximize the entropy of the historical achieved goal distribution. We propose to optimize this objective by having the agent pursue past achieved goals in sparsely explored areas of the goal space, which focuses exploration on the frontier of the achievable goal set. We show that our strategy achieves an order of magnitude better sample efficiency than the prior state of the art on long-horizon multi-goal tasks including maze navigation and block stacking.

研究の動機と目的

• 報酬がスパースな長期的なマルチゴールタスクの学習の難しさを動機づける。
• 探索を促進するため、過去に達成された目標のエントロピーを最大化する内在的目標選択を提案する。
• アニーリングされた目的関数（OMEGA）を導入し、非監視の MEGA と監督付きの目標分布を融合させる。
• 密度ベースでフロンティアに焦点を当てた探索が長期的なタスクのサンプル効率を改善することを示す。

提案手法

• pdgとpagが重ならない場合に探索を拡張するため、過去に達成された目標分布のエントロピーを最大化するようにMEGAを定義する。
• 現在のサポート上の一様分布を混合したアニーリングされた目的関数として、MEGA から元の分布一致の目的関数へ遷移するようにOMEGAを定式化する。
• 学習した密度モデルを用いてpagの低密度領域から挙動目標を選ぶ実用的なSELECT機構（MEGA SELECT）を提案する。
• oracle目的の計算困難性に対する実用的近似として最小密度ヒューリスを提示し、バッファから候補目標をサンプリングして最も密度の低いものを選択する。
• hindsight experience replay と off-policy 学習（DDPG）と統合して効率を達成する。
• empowerment への関連性を論じ、DISCERN、RIG、Skew-Fit などの既存の内在的動機手法との関連を述べる。

実験結果

リサーチクエスチョン

• RQ1 長期的な探索問題に対処するために内在的目標設定をどのように定式化できるか（マルチゴールRLにおける）？
• RQ2 過去に達成された目標分布のエントロピーを最大化することは、スパース報酬・長期的タスクの学習を加速できるか？
• RQ3 アニーリングされた MEGA/OMEGA 目的が、既存のゴール Relabelling ベースラインと比較してサンプル効率を改善するか？
• RQ4 連続的で高次元のゴール空間において、最適なエントロピー利得を最もよく近似する実用的な SELECT 戦略は何か？

主な発見

• MEGA に焦点を当てた探索は、ベースラインよりも達成された目標分布のエントロピーを速く増加させる。
• OMEGA は内在的 MEGA 探索から望ましい目標分布の追求へ効果的に遷移し、安定性と効率を維持する。
• MEGA/OMEGA は長期的タスク（迷路ナビゲーションとブロック積み）を、従来の最先端ベースラインよりはるかに高いサンプル効率で解く。
• 最小密度目標選択は、長期的タスクにおいて多様な目標選択や達成済み目標のサンプリングよりも優れる。
• 実証結果は、MEGA/OMEGA が従来の方法よりはるかに速く望ましい目標領域に到達することを示しており、例えば従来手法が苦戦していたタスクを解く。