[論文レビュー] Heuristic-Guided Reinforcement Learning

Ching-An Cheng, Andrey Kolobov+1 more|arXiv (Cornell University)|Jun 5, 2021

Reinforcement Learning in Robotics参考文献 56被引用数 14

ひとこと要約

この論文では、意思決定の有効な時間枠を短縮するためにヒューリスティック価値関数を用いて報酬を再設計することで強化学習（RL）の学習を加速する、ヒューリスティック誘導型強化学習（HuRL）というフレームワークを提案する。ドメイン知識やオフラインデータをヒューリスティックに統合することで、時間枠に基づく正則化を実現し、高速な学習を可能にするとともに、バイアスと分散のトレードオフに関する理論的保証と、ロボット制御および手続き的ゲームにおける実験的検証を提供する。

ABSTRACT

We provide a framework for accelerating reinforcement learning (RL) algorithms by heuristics constructed from domain knowledge or offline data. Tabula rasa RL algorithms require environment interactions or computation that scales with the horizon of the sequential decision-making task. Using our framework, we show how heuristic-guided RL induces a much shorter-horizon subproblem that provably solves the original task. Our framework can be viewed as a horizon-based regularization for controlling bias and variance in RL under a finite interaction budget. On the theoretical side, we characterize properties of a good heuristic and its impact on RL acceleration. In particular, we introduce the novel concept of an improvable heuristic, a heuristic that allows an RL agent to extrapolate beyond its prior knowledge. On the empirical side, we instantiate our framework to accelerate several state-of-the-art algorithms in simulated robotic control tasks and procedurally generated games. Our framework complements the rich literature on warm-starting RL with expert demonstrations or exploratory datasets, and introduces a principled method for injecting prior knowledge into RL.

研究の動機と目的

• 長時間枠タスクにおけるタブラ・ラサ型RLの高いサンプルコストと計算コストを低減すること。
• 時間枠依存の複雑さに直接的に対処しない既存のウォームスタート手法の限界を克服すること。
• 前提知識をヒューリスティックを通じてRLに統合する原理的フレームワークを提供し、ポリシーの品質を損なわずに学習を加速すること。
• 時間枠に基づく正則化を通じて、RLにおけるバイアスと分散のトレードオフを理論的に特徴づけること。
• 有効なヒューリスティック誘導型学習に不可欠な条件としての「改良可能ヒューリスティック」の概念を導入・形式化すること。

提案手法

• 報酬を再設計した新しいMDP $\tM = (\tS, \tA, \tP, \tR, \tG)$ を定義する。ここで $\tR(s,a) = r(s,a) + (1-\backslashlambda)\backslashgamma \tE_{s' \backsim P(\cdot|s,a)}[h(s')]$ であり、割引率は $\tG = \backslashlambda \backslashgamma$ に減少する。
• 混合係数 $\lambda \in [0,1]$ を用いて有効な時間枠を制御する：$\lambda=1$ では元のMDPが回復され、$\lambda=0$ では時間枠がコンテキストラベルド・バンディットに短縮される。
• オフラインデータから、ピ MartyスティックなオフラインRLアルゴリズム（例：ピ Martyスティック価値反復）を用いてヒューリスティック $h$ を構築し、耐性を確保する。
• 「改良可能ヒューリスティック」という概念を形式化する——これは、RLエージェントがその先行知識を超えて外挿できるようなヒューリスティックである。
• SAC や PPO などの最先端のRLアルゴリズムとフレームワークを統合し、シミュレーテッド環境での学習を加速する。
• HuRLにおけるバイアスと分散の分解に関する理論的分析を行い、学習の高速化が保証される条件を示す。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック価値関数を用いることで、解決の質を損なわずに強化学習における有効な意思決定時間枠を短縮する方法は何か？
• RQ2 ヒューリスティックがRLにおける高速かつ安定した学習をもたらすために必要な理論的条件は何か？
• RQ3 特にバイアスと分散のトレードオフの観点から、HuRLの文脈における「良いヒューリスティック」の特徴は何か？
• RQ4 オフラインデータやエキスパートのデモンストレーションから得たヒューリスティックは、オンラインRLの加速に関して、証明可能に有効であると言えるか？
• RQ5 サンプル効率と収束速度の観点から、HuRLは報酬再設計（PBRS）や模倣学習といった既存手法と比べてどのように差をつけるか？

主な発見

• HuRLは顕著なサンプル効率の向上を達成した：手続き的ゲームでは、標準的なSACやPPOと比較して、サンプル複雑度を最大50％まで低減した。
• フレームワークはMuJoCoのロボット制御タスクにおいて収束を高速化し、適切に構築されたヒューリスティックを用いることで、より少ない環境インタラクション回数でターゲット性能に到達した。
• 実験結果から、ピ MartyスティックなオフラインRL（例：ピ Martyスティック価値反復）を用いて得たヒューリスティックは、安定的かつ効果的な学習をもたらし、理論的枠組みにおける「改良可能ヒューリスティック」の概念を裏付けた。
• アブレーションスタディにより、混合係数 $\lambda$ がバイアスと分散のトレードオフを制御していることが確認された：中間値（$\lambda \approx 0.5$）が最適なパフォーマンスをもたらした。
• エキスパートデモンストレーションのみを用いるベースライン手法や、内因的好奇心を用いる手法よりも、HuRLは優れた性能を示し、ヒューリスティックに基づく正則化の相乗効果を実証した。
• 理論的分析により、HuRLの時間枠に基づく正則化が、特に長時間枠タスクにおいて有効なサンプル複雑度を低減することが確認された。