[論文レビュー] QXplore: Q-Learning Exploration by Maximizing Temporal Difference Error

Riley Simmons-Edler, Ben Eisner+5 more|arXiv (Cornell University)|Sep 25, 2019

Receptor Mechanisms and Signaling被引用数 5

ひとこと要約

本論文では、外的Qネットワークの絶対的時系列差分（TD）誤差を二次的な内因的報酬として用いることで、深層強化学習における探索を促進するQXploreという手法を提案する。外的報酬とTD誤差に基づく内因的報酬を敵対的Q学習フレームワークで統合することで、QXploreは報酬が疎な環境でも収束を加速させつつ、報酬が疎またはゼロの状況でも新奇性志向の行動を維持でき、連続的制御ベンチマークにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

A major challenge in reinforcement learning is exploration, especially when reward landscapes are sparse. Several recent methods provide an intrinsic motivation to explore by directly encouraging agents to seek novel states. A potential disadvantage of pure state novelty-seeking behavior is that unknown states are treated equally regardless of their potential for future reward. In this paper, we propose an exploration objective using the temporal difference error experienced on extrinsic rewards as a secondary reward signal for exploration in deep reinforcement learning. Our objective yields novelty-seeking in the absence of extrinsic reward, while accelerating exploration of reward-relevant states in sparse (but nonzero) reward landscapes. This objective draws inspiration from dopaminergic pathways in the brain that influence animal behavior. We implement the objective with an adversarial Q-learning method in which Q and Qx are the action-value functions for extrinsic and secondary rewards, respectively. Secondary reward is given by the absolute value of the TD-error of Q. Training is off-policy, based on a replay buffer containing a mix of trajectories sampled using Q and Qx. We characterize performance on a set of continuous control benchmark tasks, and demonstrate comparable or faster convergence on all tasks when compared with other state-of-the-art exploration methods.

研究の動機と目的

• 報酬が疎または遅延する環境において、強化学習における効率的探索の課題に取り組むこと。
• 未知の状態をすべて同等に扱う既存の新奇性志向手法の限界を克服し、将来的な外的報酬の可能性にかかわらず、すべての未知状態を平等に扱う問題を解決すること。
• 報酬が疎な状況においても、将来的な外的報酬の可能性が大きい状態の探索を優先する手法を開発すること。
• 生物学的にインspiredな信号（TD誤差）を探索プロセスに統合し、報酬関連の状態へとエージェントを誘導すること。

提案手法

• 本手法は、主なQネットワークのTD誤差の絶対値を予測する二次的なQネットワークQxを導入し、これを内因的報酬信号として用いる。
• 内因的報酬は |δ| = |R + γ max_a' Q(s', a') - Q(s, a)| で定義され、δは外的QネットワークのTD誤差を表す。
• QとQxの両方が、QとQxの両方の探索ポリシーから得られた軌道を含む共有のリプレイバッファを用いて同時に訓練される敵対的トレーニング方式が採用される。
• エージェントはQとQxから導かれるポリシーの混合を使用して探索を行い、Qxが予測誤差が大きい（すなわち将来的な報酬の可能性がある）状態へと探索を誘導する。
• トレーニングはオフポリシーであり、外的および内因的探索ポリシーから得た遷移を格納するリプレイバッファを活用する。
• 本手法は、深層Qネットワークを用いて連続的制御ベンチマークタスクで評価され、最先端の探索ベースラインと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 外的QネットワークのTD誤差は、報酬が疎な環境における探索を効果的に誘導する内因的報酬信号として機能するか？
• RQ2 TD誤差を二次的報酬として用いることで、連続的制御タスクにおいて最先端の探索手法と比較して収束速度が向上するか？
• RQ3 提案手法は、新奇な状態の探索と、将来的な外的報酬の可能性が大きい状態の探索のバランスをどのようにとるか？
• RQ4 報酬がゼロの状況でも、報酬が疎な設定で学習を加速させるために、本手法はどの程度効果的な探索を維持できるか？

主な発見

• QXploreは、評価されたすべての連続的制御ベンチマークタスクにおいて、最先端の探索手法と同等またはそれ以上の速さで収束を達成した。
• 報酬が疎な環境では、TD誤差が大きい状態（将来的な外的報酬の可能性が大きい状態）を優先することで、学習が著しく加速した。
• 報酬がゼロの状況では、TD誤差を不確実性と潜在的価値の代理として用いることで、QXploreは新奇性志向の行動を維持した。
• TD誤差を内因的信号として統合することで、高いパフォーマンスに到達するまでのステップ数が削減され、より効率的な探索が実現した。