[論文レビュー] EX2: Exploration with Exemplar Models for Deep Reinforcement Learning

Justin Fu, John D. Co-Reyes+1 more|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics被引用数 61

ひとこと要約

EX2 は intrinsic rewards のための潜在状態密度を推定する exemplar 識別子を導入し、明示的な生成モデルなしで効果的な探索を実現する。vizDoom で強力な結果を出し、Atari および連続制御タスクでも競争力のある性能を示す。

ABSTRACT

Deep reinforcement learning algorithms have been shown to learn complex tasks using highly general policy classes. However, sparse reward problems remain a significant challenge. Exploration methods based on novelty detection have been particularly successful in such settings but typically require generative or predictive models of the observations, which can be difficult to train when the observations are very high-dimensional and complex, as in the case of raw images. We propose a novelty detection algorithm for exploration that is based entirely on discriminatively trained exemplar models, where classifiers are trained to discriminate each visited state against all others. Intuitively, novel states are easier to distinguish against other states seen during training. We show that this kind of discriminative modeling corresponds to implicit density estimation, and that it can be combined with count-based exploration to produce competitive results on a range of popular benchmark tasks, including state-of-the-art results on challenging egocentric observations in the vizDoom benchmark.

研究の動機と目的

• 深層 RL における疎報酬問題を、生成的観測モデルに依存せずに解決する。
• 状態の新しさを潜在密度として推定する識別的に訓練された exemplar モデルを開発する。
• 大規模な状態空間と高次元観測にスケールさせるために exemplar 訓練をアモルタイズする。
• novelty 信号をカウントベースの探索ボーナスと統合する。
• 低次元ベンチマークだけでなく vizDoom や Atari のような高度な画像ベース領域での有効性を示す。

提案手法

• 訪問された各状態 x* をすべての他の状態と区別する識別子 D_x* を含む exemplar モデルを訓練する。
• exemplar 識別子が D_x*(x*) によって P_X(x) の潜在密度推定を誘発し、潜在空間のノイズによる平滑化を介してそれを得ることを示す。
• エンコーダベースの条件付き識別子（アモルタイズド/ exemplar 条件付きネットワーク）を用いて訓練をアモルタイズする。
• 特徴を共有し、各状態分類器の数を削減するための K-Exemplar およびアモルタイズドアーキテクチャを導入する。
• 新規性ボーナスを R'(s,a)=R(s,a)+β f(D_s(s)) の形で RL 報酬に組み込み、f(D_s(s)) は推定密度にリンクする。
• この手法を疑似カウント探索に関連付け、KDE との関連性や GAN との関係について論じる。

実験結果

リサーチクエスチョン

• RQ1 識別的に訓練された exemplar モデルは明示的な生成モデルなしで状態の新規性を推定できるか。
• RQ2 exemplar ベースの潜在密度推定は高次元の視覚タスクにおける探索のための有効な intrinsic rewards を提供するか。
• RQ3 アモルタイズドまたは K-Exemplar アーキテクチャは exemplar ベースの探索を大規模な状態空間へスケールできるか。
• RQ4 EX2 は Atari および vizDoom における既存の生成モデルベース探索法と比較してどうか。
• RQ5 潜在空間の平滑化が密度推定と探索ボーナスに与える影響はどのようなものか。

主な発見

タスク	K-Ex.（私たち）	アモル.（私たち）	VIME	TRPO	ハッシュ化	KDE	ヒストグラム
2D Maze	-104.2	-132.2	-135.5	-175.6	-	-117.5	-69.6
SparseHalfCheetah	3.56	173.2	98.0	0	0.5	0	-
SwimmerGather	0.228	0.240	0.196	0	0.258	0.098	-
Freeway (Atari)	-	33.3	-	16.5	33.5	-	-
Frostbite (Atari)	-	4901	-	2869	5214	-	-
Venture (Atari)	-	900	-	121	445	-	-
DoomMyWayHome	0.740	0.788	0.443	0.250	0.331	0.195	-

• EX2 は複数のタスクで事前の明示的密度推定法と同等かそれ以上の性能を示し、vizDoom DoomMyWayHome+ で特に大幅に改善する。
• SwimmerGather および SparseHalfCheetah では、EX2 および Derivatives（VIME、ハッシュ化）はナイーブな TRPO および KDE を大幅に上回る。
• Atari のゲームでは EX2 の派生が prior density-based methods に対して競争力のある性能を示し、DoomMyWayHome+ では全ての prior 探索手法を大きく凌駕する。
• 潜在密度推定を介した暗黙の探索ボーナスは、明示的な生成モデルが難しい高次元の画像領域で堅牢な探索を提供する。
• アモルタイズドおよび K-Exemplar アーキテクチャは、 exemplar 間で共有された表現を活用してスケーラブルで効果的な密度推定を提供する。