[論文レビュー] G-Learning: Taming the Noise in Reinforcement Learning via Soft Updates.

Roy Fox, Ari Pakman+1 more|arXiv (Cornell University)|Dec 28, 2015

Reinforcement Learning in Robotics参考文献 25被引用数 7

ひとこと要約

G-learningは、初期学習段階におけるノイズに起因するバイアスを軽減するためにソフトアップデートと決定論的方策のペナルティを適用する、新しいオフポリシー強化学習アルゴリズムである。これにより、ノイズが多く、探索リスクの高い環境でも収束が速く、学習コストが低減される。最適行動における事前分布を組み込み、Q学習よりもノイズありおよびノイズなしの両設定で優れた性能を発揮する。

ABSTRACT

Model-free reinforcement learning algorithms such as Q-learning perform poorly in the early stages of learning in noisy environments, because much effort is spent on unlearning biased estimates of the state-action function. The bias comes from selecting, among several noisy estimates, the apparent optimum, which may actually be suboptimal. We propose G-learning, a new off-policy learning algorithm that regularizes the noise in the space of optimal actions by penalizing deterministic policies at the beginning of the learning. Moreover, it enables naturally incorporating prior distributions over optimal actions when available. The stochastic nature of G-learning also makes it more cost-effective than Q-learning in noiseless but exploration-risky domains. We illustrate these ideas in several examples where G-learning results in significant improvements of the learning rate and the learning cost.

研究の動機と目的

• Q学習のようなモデルフリー強化学習アルゴリズムが、状態行動価値推定に偏りが生じるノイズの多い環境で性能が劣る問題に対処すること。
• 初期学習段階における最適行動空間におけるノイズの正則化を通じて、偏った推定の「アンラーニング」の必要性を低減すること。
• 分布正則化を通じて、最適行動に関する事前知識を自然に統合すること。
• 探索リスクの高いがノイズのないドメインにおいて、コスト効率を向上させるために初期段階で確率的方策を優遇すること。

提案手法

• 新しいQ値推定を段階的に組み込むソフトアップデート機構を導入し、ノイズの多いサンプルへの感受性を低減する。
• 初期トレーニング段階で決定論的方策にペナルティを課し、非最適行動への過早なコミットを回避する。
• 探索を維持し、初期学習段階の分散を低減するため、確率的方策更新戦略を適用する。
• 最適行動における事前分布を更新ルールに正則化項として組み込み、情報に基づいた探索を可能にする。
• 不確実性を維持し、ノイズの多い最大値への過適合を低減するために、アクション選択プロセスでソフトマックスに類似した更新を採用する。
• オフポリシー設定で動作させ、安定性を保ちつつ、効率的な経験リプレイとサンプル再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 G-learningは、Q値推定に高いノイズが存在する環境で、どのように学習効率を向上させるか？
• RQ2 トレーニングの初期段階で決定論的方策にペナルティを課すことで、バイアスをどれほど低減し、収束をどれほど加速できるか？
• RQ3 最適行動に関する事前知識を、学習プロセスに効果的に統合できるか？
• RQ4 ノイズのないが探索リスクの高いドメインにおいて、G-learningはQ学習と比較して、学習コストと頑健性の点でどのように異なるか？
• RQ5 ソフトアップデートは、ノイズのある設定における価値関数学習の安定性とパフォーマンスにどのような影響を与えるか？

主な発見

• G-learningは、偏ったQ値推定のアンラーニングの必要性を低減することで、ノイズのある環境における学習速度を顕著に向上させる。
• 初期方策更新における確率的性を維持することで、学習コストを低減し、特に探索リスクの高いドメインで顕著な利点を示す。
• 最適行動における事前分布の組み込みにより、収束が速くなり、サンプル効率が向上する。
• G-learningは、ノイズありおよびノイズなしの両環境でQ学習を上回り、多様な設定において頑健であることが示された。
• ソフトアップデート機構により、Q値推定におけるノイズの強い最大値の影響が緩和され、学習が安定化する。
• 実験結果では、G-learningがベースラインのQ学習と比較して、収束が早く、パフォーマンスの分散が低いことが示された。