[論文レビュー] Information-Directed Exploration for Deep Reinforcement Learning

Nikolay Nıkolov, Johannes Kirschner+2 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Bandit Algorithms Research被引用数 11

ひとこと要約

本稿では、報酬分布における非定常的ノイズに対処するため、深層強化学習における情報指向サンプリング（IDS）を提案する。分布的強化学習と不確実性を考慮した探索を組み合わせ、深層Qネットワーク向けの実行可能で効果的なIDSの変種を導入し、DQN、ブートストラップDQN、C51といった最先端手法を上回る性能を達成した。特に、パラメトリックな不確実性と非定常的観測ノイズの両方を明示的にモデル化している。

ABSTRACT

Efficient exploration remains a major challenge for reinforcement learning. One reason is that the variability of the returns often depends on the current state and action, and is therefore heteroscedastic. Classical exploration strategies such as upper confidence bound algorithms and Thompson sampling fail to appropriately account for heteroscedasticity, even in the bandit setting. Motivated by recent findings that address this issue in bandits, we propose to use Information-Directed Sampling (IDS) for exploration in reinforcement learning. As our main contribution, we build on recent advances in distributional reinforcement learning and propose a novel, tractable approximation of IDS for deep Q-learning. The resulting exploration strategy explicitly accounts for both parametric uncertainty and heteroscedastic observation noise. We evaluate our method on Atari games and demonstrate a significant improvement over alternative approaches.

研究の動機と目的

• 古典的な探索戦略が非定常的観測ノイズを考慮しないという限界を是正すること。
• バンディット問題から大規模な状態空間における深層強化学習への情報指向サンプリング（IDS）の拡張。
• 分布的強化学習と不確実性推定を活用した、実用的で実行可能なIDSに基づく探索戦略の開発。
• 非定常的ノイズを考慮することで、深層強化学習における性能向上が顕著に得られることの実証的検証。
• 深層強化学習の文脈において、IDSがトムソンサンプリングやUCBベースの手法を上回ることの実証。

提案手法

• 深層Q学習における新たなIDSベースの探索戦略を提案し、リグレットと情報量の両方のバランスをとる。
• C51を用いて行動ごとの報酬分布をモデル化することで、非定常的分散の推定を可能にする。
• ブートストラップDQNと同様に、Qネットワークヘッドのアンサンブルを用いてパラメトリック不確実性を推定する。
• Q値推定の不確実性と報酬分布の分散を組み合わせることで、IDS目的関数の実行可能な近似を導出する。
• 期待リグレットと期待情報量を組み合わせた修正損失関数を採用し、数値安定性を確保するため分散の下限を導入する。
• Adamを用いて標準的なハイパーパrameterでエージェントを訓練し、$Υ$-グリーディ探索をIDS駆動の行動選択に置き換える。

実験結果

リサーチクエスチョン

• RQ1 情報指向サンプリング（IDS）は、大規模な状態空間における深層強化学習に効果的に適応可能か？
• RQ2 報酬分布における非定常的ノイズを考慮することで、深層強化学習における探索と性能が向上するか？
• RQ3 深層Q学習において、IDSはトムソンサンプリングやUCBベースの探索と比べてどのように性能を発揮するか？
• RQ4 分布的強化学習手法は、深層強化学習におけるIDSの性能を向上させることができるか？
• RQ5 IDSによる性能向上は、より良い不確実性モデリングによるものか、それとも情報量推定の改善によるものか？

主な発見

• 200Mフレームの学習後、C51-IDSはアタリ2600で平均174.8のヒューマン正規化スコアを達成し、C51（135.5）やQR-DQNを著しく上回った。
• DQN-IDSは、平均ヒューマン正規化スコアでブートストラップDQNの約200%を上回り、IDSがトムソンサンプリングを上回ることの有効性を示した。
• C51-IDSは、リスク感受性に最適化されたIQNでさえわずかに上回った。
• DQN-IDSとC51-IDSの性能差は、非定常的ノイズのモデル化が性能向上の重要な要因であることを示している。
• 分散の下限を除いた実験では、平均ヒューマン正規化スコアがたった23%しか変化しなかったため、手法のロバスト性が確認された。
• 予備的な結果から、IDSはDDPGのような連続的制御手法へも拡張可能である可能性が示唆され、より広範な適用性を示している。