[論文レビュー] Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement

Benjamin Eysenbach, Xinyang Geng+2 more|arXiv (Cornell University)|Feb 25, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 30

ひとこと要約

本研究は hindsight relabeling が inverse reinforcement learning であることを示し、逆RL を介して過去の経験をリラベリングして複数タスクに跨る学習を加速するフレームワーク HIPI を提案する。オフポリシ RL（HIPI-RL）または行動クローン学習（HIPI-BC）を通じて。

ABSTRACT

Multi-task reinforcement learning (RL) aims to simultaneously learn policies for solving many tasks. Several prior works have found that relabeling past experience with different reward functions can improve sample efficiency. Relabeling methods typically ask: if, in hindsight, we assume that our experience was optimal for some task, for what task was it optimal? In this paper, we show that hindsight relabeling is inverse RL, an observation that suggests that we can use inverse RL in tandem for RL algorithms to efficiently solve many tasks. We use this idea to generalize goal-relabeling techniques from prior work to arbitrary classes of tasks. Our experiments confirm that relabeling data using inverse RL accelerates learning in general multi-task settings, including goal-reaching, domains with discrete sets of rewards, and those with linear reward functions.

研究の動機と目的

• 任意に定義されたタスク間で過去の経験を再利用することにより、多タスクRLのサンプル効率を改善する動機づけ。
• hindsight relabeling を inverse RL として formalize し、MaxEnt RL と MaxEnt inverse RL を双対問題として結びつける。
• 過去の軌道や遷移をリラベリングする実用的なHIPIアルゴリズムを開発し、それらを活用してタスクファミリにわたるポリシーを学習する。
• ゴール達成や離散報酬・線形報酬タスクを含む、一般的な報酬構造への適用性を示す。

提案手法

• リラベリングを MaxEnt inverse RL の後方確率 p(ψ|τ) を計算することとして捉え、それを用いて軌道をリラベルする。
• 最適なリラベリング分布 q(ψ|τ) ∝ p(ψ) exp(Σt rψ(st,at) − log Z(ψ)) を導出する。
• MaxEnt RL と MaxEnt inverse RL は、軌道またはタスクに対してそれぞれ同じマルチタスク目的を最適化することを示す。
• ゴールリラベリングを、 rψ が最終状態 ≠ ψ のときに無限、そうでないときは 0 となる縮退した inverse RL の場合として特殊化する。
• 2 つの HIPI 変種を導入する。HIPI-RL（逆RLリラベリング＋オフポリシRL）と HIPI-BC（逆RLリラベリング＋タスク条件付き行動クローン学習）。
• アルゴリズムの詳細には Z(ψ) の分配関数計算と、軌道データに条件づけられた ψ のソフトマックスサンプルの使用を含む。

実験結果

リサーチクエスチョン

• RQ1 逆RL ベースのリラベリングは、ゴール到達タスクを超えた幅広いマルチタスク RL 問題のサンプル効率を改善できるか。
• RQ2 逆RL を用いたリラベリングは、線形報酬および離散報酈を含む多様なタスク分布に対して、従来のリラベリング戦略（例: HER）と比較してどうなるか。
• RQ3 逆RLリラベリングとオフポリシRLまたは行動クローンの組み合わせは、複雑な移動・操作タスクで安定して学習を加速できるか。
• RQ4 分配関数 Z(ψ) は、報酬スケールの異なるタスク間でリラベリングを安定化させる上でどのような役割を果たすか。

主な発見

• 逆RL を用いたリラベリングは、ゴール到達、離散報酬、および線形報酬タスクに対して学習を加速する。
• 2 つの実用的な HIPI 変種（HIPI-RL と HIPI-BC）は、複数のシミュレートされたロボティクス領域でベースラインを上回る。
• 分配関数の正規化は極めて重要であり、これがなければリラベリングが軌道を容易なタスクへ誤割り当てして学習を阻害する。
• リラベリングは、一般的な報酬構造を含むさまざまなタスク分布に対して、漸近的な性能とサンプル効率を改善する。
• ゴールリラベリングは inverse RL の特殊ケースであり、ゴール以外の任意のタスクファミリへ拡張可能である。