[論文レビュー] Distributional Reinforcement Learning for Efficient Exploration

Borislav Mavrin, Zhang, Shangtong+4 more|arXiv (Cornell University)|May 13, 2019

Target Tracking and Data Fusion in Sensor Networks被引用数 30

ひとこと要約

本論文は、分布的Q学習（QR-DQN）を活用して、値分布の上位分位数を用いて探索ボーナスを計算し、内在的不確実性を抑制するための時間に依存するスケジューリングを適用する、深層強化学習のための新規な探索手法を提案する。この手法は、49種類のAtariゲームにおいてQR-DQNと比較して平均483%の累積報酬向上を達成し、CARLA 3Dドライブシミュレータにおける安全報酬の学習速度を2倍に向上させる。

ABSTRACT

In distributional reinforcement learning (RL), the estimated distribution of value function models both the parametric and intrinsic uncertainties. We propose a novel and efficient exploration method for deep RL that has two components. The first is a decaying schedule to suppress the intrinsic uncertainty. The second is an exploration bonus calculated from the upper quantiles of the learned distribution. In Atari 2600 games, our method outperforms QR-DQN in 12 out of 14 hard games (achieving 483 \% average gain across 49 games in cumulative rewards over QR-DQN with a big win in Venture). We also compared our algorithm with QR-DQN in a challenging 3D driving simulator (CARLA). Results show that our algorithm achieves near-optimal safety rewards twice faster than QRDQN.

研究の動機と目的

• 分布的強化学習によって学習される値分布の不確実性を活用して、深層強化学習における効率的探索の課題に取り組む。
• 分布的値推定におけるパrametric不確実性と内在的不確実性を区別し、内在的不確実性を抑制することで探索効率を向上させる。
• 値分布の上位分位数を用いて計算する、計算コストが低い探索ボーナス機構を構築し、楽観的な探索を促進する。
• QR-DQNベースラインと比較して、Atari 2600およびCARLA 3Dドライブシミュレータという挑戦的な環境で優れたパフォーマンスを示すことを実証する。
• 特に衝突影響を最小化することを目的とした、分位数ベースの行動選択を用いることで、安全が重要な環境におけるリスクセンシティブな行動を可能にする。

提案手法

• Quantイル回帰DQN（QR-DQN）を用いて、状態-行動価値関数の完全な分布を学習し、パrametric不確実性と内在的不確実性の両方を捉える。
• 時間経過に伴い内在的不確実性の影響を減少させるスケジューリングを適用することで、探索の安定性を向上させる。
• 学習済み値分布の上位分位数（例：0.95 や 0.99）に基づいて探索ボーナスを計算し、楽観的な行動選択を促進する。
• ホフディングの不等式を用いて、値関数の高信頼区間上界を推定し、分位数推定器の漸近正規性を活用する。
• 切断された分散推定を実装することで、重たい尾を持つ分布に起因する過大評価を回避し、探索ボーナスを精緻化する。
• トレーニング中に探索ボーナスとグリーディポリシーを組み合わせることで、QR-DQNを超える追加計算コストなしに効率的な探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 QR-DQNにおける値分布の上位分位数を用いて、効果的かつ効率的な探索ボーナスを生成できるか？
• RQ2 分布的値推定における内在的不確実性をどのように抑制すれば、非効率な探索行動を防げるか？
• RQ3 分位数ベースの行動選択は、自律走行シミュレータのような高リスク環境における安全性とパフォーマンスを向上させるか？
• RQ4 提案手法は、エプソン・グリーディ探索を用いるQR-DQNと比較して、Atari 2600における累積報酬とサンプル効率の両面で優れているか？
• RQ5 非対称な値分布が、複雑な環境における探索とリスクセンシティブなポリシー学習に与える影響は何か？

主な発見

• 提案手法は、49種類のAtariゲームにおいてQR-DQNと比較して平均483%の累積報酬向上を達成し、特にゲーム「Venture」では483%の顕著な改善を示した。
• CARLA 3Dドライブシミュレータでは、安全報酬の達成がQR-DQNの2倍の速さで達成され、安全指標が顕著に向上した。
• 値分布の10百分位数（q₀.₁）を用いた行動選択では、平均1.35 kmの平均走行距離に比べ、レーン違反までの平均距離が4.55 kmにまで向上し、リスクセンシティブ性の向上が示された。
• VaR(Q(s,a)₉₀%)に基づくリスクセンシティブなポリシーは、平均ベースの制御と比較して、静的物体の衝突影響を50%、歩行者との衝突影響を50%削減したが、衝突頻度は同程度またはわずかに高かった。
• 14種類の難易度の高いAtariゲームのうち12種類でQR-DQNを上回り、困難な環境下でも高いロバストネスを示した。
• 減衰スケジューリングの使用により、内在的不確実性が効果的に抑制され、学習中に高分散行動を好む傾向が防止された。