[論文レビュー] Generalized hindsight for reinforcement learning

Alexander C. Li, Lerrel Pinto+1 more|arXiv (Cornell University)|Feb 1, 2020

Advanced Multi-Objective Optimization Algorithms被引用数 2

ひとこと要約

本稿では、多タスク強化学習におけるサンプル効率を向上させるために、あるタスクからの行動を、より適切な別のタスクに再ラベル付けする逆強化学習手法、Generalized Hindsightを提案する。低報酬の軌道を、それらがより最適となるタスクに再割り当てすることで、オフポリシー強化学習エージェントがかつて無駄にされたデータを再利用でき、ナビゲーションおよび操作タスクの両方で学習効率を顕著に向上させる。

ABSTRACT

One of the key reasons for the high sample complexity in reinforcement learning (RL) is the inability to transfer knowledge from one task to another. In standard multi-task RL settings, low-reward data collected while trying to solve one task provides little to no signal for solving that particular task and is hence effectively wasted. However, we argue that this data, which is uninformative for one task, is likely a rich source of information for other tasks. To leverage this insight and efficiently reuse data, we present Generalized Hindsight: an approximate inverse reinforcement learning technique for relabeling behaviors with the right tasks. Intuitively, given a behavior generated under one task, Generalized Hindsight returns a different task that the behavior is better suited for. Then, the behavior is relabeled with this new task before being used by an off-policy RL optimizer. Compared to standard relabeling techniques, Generalized Hindsight provides a substantially more efficient reuse of samples, which we empirically demonstrate on a suite of multi-task navigation and manipulation tasks. Videos and code can be accessed here: this https URL.

研究の動機と目的

• タスク間での知識の転移ができないことによって引き起こされる高いサンプル複雑性を解消すること。
• あるタスクにおいて低報酬であった軌道が通常は破棄される多タスク強化学習におけるデータの無駄を減らすこと。
• 同じ行動がより最適となる代替タスクを同定することで、軌道の効率的再利用を可能にすること。
• 多タスク環境におけるデータ利用の改善を通じて、オフポリシー強化学習アルゴリズムの性能を向上させること。

提案手法

• 本手法は、与えられた行動が元来意図されたタスクとは異なるタスクにおいて最適となる報酬関数を推定するために逆強化学習を適用する。
• 特定のタスク下で生成された行動をもとに、Generalized Hindsightは、その行動がより最適となる新たなタスクを同定する。
• その後、その行動はこの新しいタスクに再ラベル付けされ、オフポリシー学習のためのリプレイバッファに組み込まれる。
• このアプローチは、あるタスクにおいて劣悪な軌道が他のタスクでは非常に効果的である可能性があるというアイデアを活用し、より広範なデータ再利用を可能にする。
• 各行動について、最も適切な代替タスクを特定するための微分可能または最適化ベースのメカニズムを用いる。
• 再ラベル付けされたデータは、SAC や DQN などの標準的なオフポリシー強化学習アルゴリズムに用いられ、サンプル効率の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 あるタスクにおいて劣悪であった行動が、他のタスクに再利用可能であり、学習効率の向上に寄与するか？
• RQ2 代替タスクに軌道を再ラベル付けすることと、標準的なヒンダーレイリング手法とを比較した場合、どのような差異が生じるか？
• RQ3 Generalized Hindsightは、ナビゲーションおよび操作タスクにおいて、どの程度サンプル複雑性を低減できるか？
• RQ4 本手法は、タスク固有の設計を必要とせずに、多様なタスクにおいて性能を向上させるか？

主な発見

• Generalized Hindsightは、以前に無駄にされた低報酬軌道を、より適切なタスクに再ラベル付けすることで、顕著な再利用を可能にする。
• 標準的な再ラベル付け手法と比較して、多タスクナビゲーションおよび操作環境において、サンプル効率が顕著に向上する。
• 実験的結果から、代替タスクからの再ラベル付けデータを用いることで、収束が速く、最終的な性能も向上することが示された。
• 本手法は、タスク間で有用な行動の分布をより広く活用することで、ベースラインのヒンダーレイリング手法を上回る性能を発揮する。