[論文レビュー] Model-Based Regularization for Deep Reinforcement Learning with Transcoder Networks

Felix Leibfried, Peter Vrancx|arXiv (Cornell University)|Sep 6, 2018

Reinforcement Learning in Robotics参考文献 40被引用数 6

ひとこと要約

本論文は、環境モデルの予測誤差を価値学習目的の正則化子として用いることで、モデルベース正則化をディープQネットワーク（DQN）に統合するトランスコーダー・ネットワークを提案する。この手法は20種類のAtariゲームにおいてサンプル効率とパフォーマンスを向上させ、中央値の正規化スコアが優れており、20ゲーム中14ゲームでヴァニラDQNを上回った。

ABSTRACT

This paper proposes a new optimization objective for value-based deep reinforcement learning. We extend conventional Deep Q-Networks (DQNs) by adding a model-learning component yielding a transcoder network. The prediction errors for the model are included in the basic DQN loss as additional regularizers. This augmented objective leads to a richer training signal that provides feedback at every time step. Moreover, because learning an environment model shares a common structure with the RL problem, we hypothesize that the resulting objective improves both sample efficiency and performance. We empirically confirm our hypothesis on a range of 20 games from the Atari benchmark attaining superior results over vanilla DQN without model-based regularization.

研究の動機と目的

• スパarsな報酬設定下における深層強化学習のサンプル非効率性の課題に取り組む。
• 価値学習目的にモデル予測誤差を組み込むことで、学習信号の豊かさを向上させる。
• 価値ネットワークと予測環境モデルの共同学習により、パフォーマンスとサンプル効率を向上させる。
• ポリシーとモデル学習に共通のパラメータアーキテクチャを採用した場合、一般化性能が向上し、収束が速くなるかどうかを調査する。
• モデルベース正則化が、Atariゲームのような高次元制御タスクにおいて優れたパフォーマンスと高速な学習をもたらすことを実証する。

提案手法

• 価値関数と環境ダイナミクスの両方を共同で学習する共通アーキテクチャのトランスコーダー・ネットワークを標準DQNに拡張する。
• 標準DQNのQ値損失とモデル予測損失を組み合わせた複合損失関数を定式化する。
• 各タイムステップで環境モデルの予測誤差（次状態および報酬）を補助的学習信号として提供する。
• Q値ベルヌーイ誤差とモデル予測誤差の両方を最小化する統合最適化目的関数を用いて、トランスコーダー・ネットワークをエンドツーエンドで訓練する。
• 訓練の安定性とデータ効率の向上を図るため、優先順位付きサンプリングを用いた経験再生を実装する。
• 価値ヘッドとモデルヘッドの間でパラメータを共有することで、パラメータ効率とインダクティブバイアスの転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデル予測誤差は、深層Q学習におけるサンプル効率を向上させる有効な正則化子として機能するか？
• RQ2 価値関数と環境モデルの共同学習は、スパarsな報酬を持つAtariゲームでより良いパフォーマンスをもたらすか？
• RQ3 収束速度と最終パフォーマンスの観点から、トランスコーダー・ネットワークアーキテクチャは標準DQNに比べてどう異なるか？
• RQ4 モデルベース正則化は、最高パフォーマンスに達するまでの環境インタラクション回数をどの程度削減するか？
• RQ5 価値学習とモデル学習に共通のパラメータアーキテクチャを採用することで、多様なAtari環境において一般化性能が維持または向上するか？

主な発見

• 提案されたトランスコーダー・ネットワークは、20種類のAtariゲームで中央値のヒューマン正規化スコア85.0%を達成し、DQNベースラインの60.7%を顕著に上回った。
• 20ゲーム中14ゲームでヴァニラDQNを上回り、特に難易度の高い環境であるBattle Zone（83.7% vs. 20.2%）やCrazy Climber（378.7% vs. 234.3%）で顕著な向上を示した。
• サンプル効率が向上し、全5ゲームの個別ゲームおよび20ゲームの中央値において、DQNよりも迅速にピークパフォーマンスに到達した。
• 複合損失関数はQ値損失が支配的であり、モデルベース正則化は弱いが効果的な影響を示しており、安定した共同最適化が実現していることが示された。
• 将来の動画フレームと報酬の予測が正確に達成され、モデルが意味のある環境ダイナミクスを学習できていることが実証された。
• トランスコーダー・ネットワークアーキテクチャは、ポリシーとモデルヘッド間でパラメータを共有することに成功し、パフォーマンスの低下を伴わずに効率的な共同訓練を可能にした。