[論文レビュー] QUOTA: The Quantile Option Architecture for Reinforcement Learning

Shangtong Zhang, Borislav Mavrin+3 more|arXiv (Cornell University)|Nov 5, 2018

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

QUOTAは、意思決定に価値分布の分位数を用いる強化学習アーキテクチャを提案する。これにより、高い分位数による楽観的（optimal）および低い分位数による悲観的（pessimistic）戦略を通じて、適応的探索が可能になる。階層的フレームワーク内にこれらの分位数ベースの選択肢を統合することで、QUOTAはアタリゲームやロボットシミュレータであるRoboschoolにおいて、標準のDDPGおよびQR-DDPGベースラインを上回る、より高いサンプル効率とパフォーマンスを実現する。

ABSTRACT

In this paper, we propose the Quantile Option Architecture (QUOTA) for exploration based on recent advances in distributional reinforcement learning (RL). In QUOTA, decision making is based on quantiles of a value distribution, not only the mean. QUOTA provides a new dimension for exploration via making use of both optimism and pessimism of a value distribution. We demonstrate the performance advantage of QUOTA in both challenging video games and physical robot simulators.

研究の動機と目的

• 平均ベースの価値推定の限界に対処すること。これは、効率的な探索に価値分布の全情報を活用できないためである。
• 価値分布の分位数を用いて、楽観的および悲観的探索戦略の間で動的に切り替えられる手法を開発すること。
• 離散的および連続的行動問題の両方において、分位数ベースの意思決定を組み込んだオプションフレームワークを拡張すること。
• 複雑な環境において、分位数ベースの探索がサンプル効率および最終パフォーマンスを向上させることを実証的に検証すること。

提案手法

• QUOTAは、平均値ではなく分位数の集合として状態-行動価値を表現する分布的強化学習のアプローチを用いる。
• 行動選択は、価値分布の特定の分位数に基づく。高い分位数は楽観的探索を、低い分位数は悲観的探索を可能にする。
• 高レベルのオプション方策は、各ステップでどの分位数を使用するかを選択し、探索戦略の動的切り替えを可能にする。
• 連続的行動問題では、QUOTAは特定の分位数の価値分布を最大化するように特化した複数の分位数アクターを導入する。
• 価値ネットワークの学習には分位数回帰損失を採用し、経験再生とターゲットネットワークを備えた変更版DDPGスタイルのアルゴリズムを用いる。
• オプション価値関数は、即時の報酬と将来のオプション価値を組み合わせたブートストラップターゲットで訓練され、オプションの持続期間をモデル化するための終了確率が導入される。

実験結果

リサーチクエスチョン

• RQ1 平均値ではなく、報酬の全分布を活用することで、強化学習における探索が向上するか？
• RQ2 高い分位数（楽観的）または低い分位数（悲観的）を用いることで、異なる環境でより高いサンプル効率が達成されるか？
• RQ3 分位数ベースの方策を切り替える階層的オプションフレームワークは、多様なタスクにおいて性能を適応的に向上させることができるか？
• RQ4 最終パフォーマンスおよび学習安定性の観点から、QUOTAは標準のDDPGおよびQR-DDPGと比較してどのように差をつけるか？

主な発見

• QUOTAは49種類のアタリゲームにおいてQR-DDPGおよびDDPGを顕著に上回り、3回の独立実行における中央値スコアはそれぞれ2555.80、2364.60、1730.33であった。
• ロボスフール環境では、QUOTAはDDPGおよびQR-DDPGよりも高い平均報酬を達成し、評価曲線からより速い収束と優れた最終パフォーマンスを示した。
• 探索が特に困難なタスク、例えばMontezuma’s Revenge や Private Eye においても、QUOTAは一貫したパフォーマンス向上を示した。
• QUOTAが楽観的および悲観的戦略の間を切り替える能力により、平均ベースの手法が効率的に探索できない環境でも、より速く学習が進んだ。
• 連続的制御タスクにおける分位数アクターの使用により、安定した学習と向上したサンプル効率が実現され、ロボスフールにおける学習曲線から明確に示された。