[論文レビュー] Self-Imitation Learning

Junhyuk Oh, Yijie Guo+2 more|arXiv (Cornell University)|Jun 14, 2018

Innovative Teaching and Learning Methods被引用数 69

ひとこと要約

Self-Imitation Learning (SIL) は、エージェントの過去の良い決定を模倣して深い探索を促進するオフポリシーのアクタークリティック法で、難しい探索のある Atari ゲームおよび MuJoCo タスクのパフォーマンスを向上させます。

ABSTRACT

This paper proposes Self-Imitation Learning (SIL), a simple off-policy actor-critic algorithm that learns to reproduce the agent's past good decisions. This algorithm is designed to verify our hypothesis that exploiting past good experiences can indirectly drive deep exploration. Our empirical results show that SIL significantly improves advantage actor-critic (A2C) on several hard exploration Atari games and is competitive to the state-of-the-art count-based exploration methods. We also show that SIL improves proximal policy optimization (PPO) on MuJoCo tasks.

研究の動機と目的

• 過去の良い経験を活用することで強化学習のパフォーマンスが向上するかを調査する。
• 過去の成功を活用するシンプルなオフポリシーの目的関数を、アクタークリティックアーキテクチャ向けに開発する。
• SIL を下界ソフトQ学習フレームワークで理論的に正当化する。
• 難しい探索を要する Atari ゲームおよび連続制御ベンチマークで SIL を実証的に評価する。
• SIL が既存の探索手法や PPO のような他のアルゴリズムと補完的であるかを評価する。

提案手法

• 過去のエピソード軌跡と累積報酬をリプレイバッファに格納する。
• R > V_theta(s) が成り立つときに更新されるオフポリシーの SIL 目的関数を、L_sil_policy と L_sil_value の二つの損失成分で用いる。
• (R-V_theta(s))_+ を優先度として用いる優先リプレイでリプレイバッファからサンプルを取得する。
• SIL を on-policy の A2C 更新と組み合わせて A2C+SIL を形成する。
• SIL を PPO に拡張し、Atari と MuJoCo タスク全体で評価する。
• エントロピー正規化強化学習内で SIL を下界ソフトQ学習に結びつける理論的正当化を提供する。

実験結果

リサーチクエスチョン

• RQ1 SIL は RL エージェントの探索と全体的なパフォーマンスを改善するか。
• RQ2 SIL は難易度の高い探索タスクでカウントベースの探索手法を補完できるか。
• RQ3 SIL は離散・連続制御の双方に広く適用可能で、PPO とも互換性があるか。
• RQ4 過去の経験を活用する条件が学習を助ける場合と妨げる場合をどのように決定づけるか。

主な発見

Agent	Median	> Human
A2C+SIL	138.7%	29
A3C+	46.8%	18
Reactor+	N/A	N/A

• SIL は難しい探索のある複数の Atari ゲームで A2C を改善し、カウントベースの探索手法と競合する。
• SIL は MuJoCo 連続制御タスクに対しても PPO を改善する。
• 49本の Atari ゲームを横断して、A2C+SIL は中央値の人間正規化スコアおよび多くの難しい探索ゲームで A2C を上回る。
• SIL は探索手法と補完的であり、希少な正の経験を活用して深い探索を促すことができる。
• A2C+SIL は複数の難しい探索タスクで最先端のカウントベース手法を上回ることがある。
• 一部のケースでは初期段階の搾取がパフォーマンスを妨げる可能性があり、SIL の適応的な使用が必要であることを示唆する。