[論文レビュー] TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning

Artemij Amiranashvili, Alexey Dosovitskiy+2 more|arXiv (Cornell University)|Jun 4, 2018

Neural dynamics and brain function参考文献 22被引用数 8

ひとこと要約

本論文は、知覚的に複雑な3次元環境において、時系列差分（TD）学習が深層強化学習において果たす役割を再評価する。古典的RL理論とは対照的に、報酬が疎であり、フィードバックが遅く、知覚的複雑性が高いタスクにおいて、MC法はTDに基づく手法を上回るか、同等の性能を示す。特に、原始ピクセルから深層知覚ネットワークを学習させる場合に顕著である。

ABSTRACT

Our understanding of reinforcement learning (RL) has been shaped by theoretical and empirical results that were obtained decades ago using tabular representations and linear function approximators. These results suggest that RL methods that use temporal differencing (TD) are superior to direct Monte Carlo estimation (MC). How do these results hold up in deep RL, which deals with perceptually complex environments and deep nonlinear models? In this paper, we re-examine the role of TD in modern deep RL, using specially designed environments that control for specific factors that affect performance, such as reward sparsity, reward delay, and the perceptual complexity of the task. When comparing TD with infinite-horizon MC, we are able to reproduce classic results in modern settings. Yet we also find that finite-horizon MC is not inferior to TD, even when rewards are sparse or delayed. This makes MC a viable alternative to TD in deep RL.

研究の動機と目的

• 従来の表形式や線形関数近似器に基づく結果に依存していた現代の深層強化学習における時系列差分（TD）学習の優位性を再検討すること。
• 非線形関数近似器と高次元の視覚入力を伴う深層RL設定において、古典的なTDのMC推定に対する優位性が成立するかを調査すること。
• 報酬の疎らさ、報酬の遅延、知覚的複雑性、終端状態の特性が学習性能に与える影響を分離して分析すること。
• アルゴリズム的および環境的要因を制御することで、特に有限時間ホライズンMCが、TDの代替手段として深層RLで実用的であるかを評価すること。
• 理論的期待とは対照的に、MC法が複雑な3次元環境で成功する理由を理解すること。

提案手法

• 報酬の疎らさ、報酬の遅延、知覚的複雑性、終端状態ダイナミクスといった主な強化学習の課題を分離した制御された環境を設計した。
• 公平な比較を保証するため、統一されたソフトウェアフレームワーク内で、TDベースと有限時間ホライズンMCベースの深層Q学習およびA3Cアルゴリズムを実装した。
• 価値関数を深層ニューラルネットワークで表現し、学習信号をブートストラップ予測（TD）または真のリターン（MC）に基づいて供給した。
• MC学習における予測ホライズンを変化させ、ロールアウト長が性能に与える影響を調査した。
• グリッドワールド、アーケードゲーム、知覚的難易度を変化させたインマージブル3DのViZDoom環境を対象に、性能を評価した。
• 原始ピクセルからの入力を用いて、MCターゲットを用いてエンドツーエンドで知覚ネットワークを学習させ、意味のある表現を学習できるかを評価した。

実験結果

リサーチクエスチョン

• RQ1 非線形関数近似器と高次元の視覚入力を伴う深層強化学習において、古典的なTDのMC学習に対する優位性は成立するか？
• RQ2 報酬の疎らさと遅延は、有限時間ホライズンモンテカルロとTDベースの手法の性能にどのように影響するか？
• RQ3 知覚的複雑性は、深層RLにおけるMCとTDの相対的性能にどの程度影響を与えるか？
• RQ4 MC法は、複雑な環境において、原始センサー入力から深層知覚ネットワークを効果的に学習できるか？
• RQ5 TDとMC信号の混合（TD(λ)のように）は、現代の深層強化学習設定においてどのような影響を及ぼすか？

主な発見

• 有限時間ホライズンモンテカルロ学習は、特に報酬が疎らで遅延があるタスクにおいて、インマージブル3次元環境でTDベースの手法を上回るか、同等の性能を示した。
• 平均して44ステップごとにヘルスマップが出現する「非常に疎な」設定では、32ステップのホライズンを持つQ_MCでさえ、非自明な性能を達成し、A3Cを上回り、20ステップのTDエージェントと同等の性能を示した。
• ViZDoom環境における累積報酬の増加と健康状態の改善から、Q_MCは20ステップのTDエージェントよりも優れた知覚ネットワークを学習したことが裏付けられた。
• 知覚的複雑性はTDベースの手法に与える影響が大きく、Q_MCはマルチテクスチャタスクにおける視覚的難易度の上昇に対してもよりロバストであった。
• TD手法における長いロールアウト（例：20ステップ）は性能を向上させ、MC性能に近づけた。これは、TDが長い計画ホライズンに依存するという仮説を支持するものであった。
• nステップQ学習およびA3Cの両設定において、TDとMC信号の混合（TD(λ)のように）が、最も優れた結果をもたらした。これは古典的知見と一致しており、今や深層RL設定でも裏付けられた。