[論文レビュー] Trust Region Policy Optimization

John Schulman, Sergey Levine+3 more|arXiv (Cornell University)|Feb 19, 2015

Reinforcement Learning in Robotics参考文献 32被引用数 3,125

ひとこと要約

TRPO は、信頼領域（KL ダイバージェンス）を介してポリシー更新を制約することでモノトニック改善を保証する実用的なポリシー最適化アルゴリズムであり、ニューラルネットワークのような大規模な非線形ポリシーの学習をスケーラブルに可能にします。生体運動タスクや raw ピクセルからの Atari ゲームで良好に動作します。

ABSTRACT

We describe an iterative procedure for optimizing policies, with guaranteed monotonic improvement. By making several approximations to the theoretically-justified procedure, we develop a practical algorithm, called Trust Region Policy Optimization (TRPO). This algorithm is similar to natural policy gradient methods and is effective for optimizing large nonlinear policies such as neural networks. Our experiments demonstrate its robust performance on a wide variety of tasks: learning simulated robotic swimming, hopping, and walking gaits; and playing Atari games using images of the screen as input. Despite its approximations that deviate from the theory, TRPO tends to give monotonic improvement, with little tuning of hyperparameters.

研究の動機と目的

• 安定したポリシー最適化を動機づけ、モノトニック改善を保証する。
• 理論的代替目的関数と KL ベースの信頼領域から実用的アルゴリズム（TRPO）を開発する。
• シミュレーションとビジョンタスクでの大規模・高次元のポリシーパラメータ化（例：ニューラルネット）に対する学習を可能にする。

提案手法

• KL 制約を介して真の報酬改善を上界する代理目的関数 L_pi_old(pi) を導出する。
• 平均 KL ダイバージェンスの制約の下で L_pi_old を最大化する制約付き最適化を解くことで信頼領域更新を提案する。
• 有限サンプルから代理目的関数と KL 制約を推定するための単一路法（single-path）と vine サンプリング方式を導入する。
• 更新方向を効率的に計算するために解析的な Fisher 情報行列近似を用いる。
• 共役勾配法と直線探索を用いた実用的な最適化ループでポリシー参数を更新する。
• TRPO を自然ポリシー勾配や他の既往法と関連づけつつ、罰則ではなく固定 KL 基準を用いる。

実験結果

リサーチクエスチョン

• RQ1 KL ベースの信頼領域を持つ代理目的関数が、一般的な確率論的ポリシーに対してモノトニック改善を保証できるか。
• RQ2 高次元ポリシーの有限サンプルから代理目的関数と KL 制約を信頼性高く推定できるか。
• RQ3 単一路法と vine サンプリングは、バイアス・分散・計算コストのトレードオフにおいて実務上有効なバランスを提供するか。
• RQ4 KL 制約を課すことで、固定ペナルティ手法よりも大きく堅牢なポリシー更新を多様なタスクで可能にするか。
• RQ5 TRPO は neural ポリシーと Atari の画像入力のような高次元問題へもスケールし得るか。

主な発見

手法	Breakout	Enduro	Pong	Q*bert	Seaquest	S. Invaders
TRPO - 単一路	1425.2	10.8	534.6	20.9	1973.5	1908.6	568.4
TRPO - vine	859.5	34.2	430.8	20.9	7732.5	788.4	450.2
Human (Mnih et al., 2013)	7456	31.0	368	-3.0	18900	28010	3690
Deep Q Learning (Mnih et al., 2013)	4092	168.0	470	20.0	1952	1705	581
UCC-I (Guo et al., 2014)	5702	380	741	21	20025	2995	692
Random	354	1.2	0	-20.4	157	110	179

• TRPO は実践的な多様なタスクにおいてモノトニックなポリシー改善を実現し、ハイパーパラメータ調整は最小限で済む。
• 単一路法と vine の TRPO 変種は難易度の高い運動学習タスク（swimmer, hopper, walker）を解き、ピクセルからの Atari ゲームでも良好に動作する。
• 制約付き KL 更新は大規模問題でより堅牢であり、しばしば固定ペナルティ自然勾配アプローチを上回る。
• CEM と CMA の勾配なし法は、高パラメータのタスクではサンプル複雑性のために劣る。
• 平均 KL 制約を用いる TRPO は、畳み込みネットワークを用いた Atari で競争力のある結果を示し、数万パラメータ規模の学習のスケーラビリティを実証する。