[論文レビュー] Off-Policy Reinforcement Learning with Delayed Rewards

Beining Han, Zhizhou Ren+3 more|arXiv (Cornell University)|Jun 22, 2021

Reinforcement Learning in Robotics参考文献 30被引用数 14

ひとこと要約

本稿は、非マークフ・ダイナミクスに対処するため、新しい$Χ$-関数定式化とHC分解を導入することで、報酬の遅延がある環境向けの新しいオフポリシー強化学習フレームワークを提案する。この手法は理論的収束性を保証し、高次元設定における学習安定性と効率性を向上させ、遅延フィードバックを伴うベンチマークタスクにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

We study deep reinforcement learning (RL) algorithms with delayed rewards. In many real-world tasks, instant rewards are often not readily accessible or even defined immediately after the agent performs actions. In this work, we first formally define the environment with delayed rewards and discuss the challenges raised due to the non-Markovian nature of such environments. Then, we introduce a general off-policy RL framework with a new Q-function formulation that can handle the delayed rewards with theoretical convergence guarantees. For practical tasks with high dimensional state spaces, we further introduce the HC-decomposition rule of the Q-function in our framework which naturally leads to an approximation scheme that helps boost the training efficiency and stability. We finally conduct extensive experiments to demonstrate the superior performance of our algorithms over the existing work and their variants.

研究の動機と目的

• 行動の直後にはすぐに入手できない遅延的で非マークフ的報酬を伴う環境における深層強化学習の課題に対処すること。
• 交通制御や分子設計のような現実世界のシナリオを捉えるために、過去不変性を保持する遅延報酬MDP（PI-DRMDP）を形式化すること。
• 遅延報酬下でも収束を保証する理論的根拠に基づいた新しい$Χ$-関数定式化を用いたオフポリシー手法を開発すること。
• 高次元状態空間における効率的な近似を可能にするために、HC分解ルールを導入し、学習安定性と効率性を向上させること。
• 提案手法の優位性を、遅延報酬環境における既存のアルゴリズムと比較して実験的に検証すること。

提案手法

• 報酬の遅延を扱うために、歴史的（H）および現在の（C）状態行動情報の両方を明示的に用いた新しい$Χ$-関数定式化を導入する。
• 報酬が可変長の信号インターバルの終了時にのみ観測される状況を想定し、状態行動ペアの系列に基づいて、過去不変性を持つ遅延報酬MDP（PI-DRMDP）を定義する。
• 高次元空間における効率的な関数近似を可能にするために、$Χ$-関数をHおよびC成分に分解するHC分解ルールを提案する。
• SACなどのオフポリシー手法にHC分解を統合し、遅延フィードバック下でも安定的かつ効率的な学習を実現する。
• $Χ$-関数をモデル化するためのクリティックネットワークにGRUまたは構造化フィードフォワードアーキテクチャを採用し、分散推定のための別個でバイアスのないクリティックを用いることで、過大評価バイアスを回避する。
• 繰り返し相対的信用配分（IRCR）と報酬インターバルに基づくリターン推定を用いて、遅延報酬設定におけるサンプル効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー深層強化学習は、遅延的で非マークフ的報酬を伴う環境において、理論的整合性と実用的有効性をどのように達成できるか？
• RQ2 学習に必要な主要な性質（例：過去不変性）を保持するような、遅延報酬環境の適切な形式化とは何か？
• RQ3 HC分解を用いた新しい$Χ$-関数定式化は、高次元で遅延報酬がある設定において、学習安定性とサンプル効率性を向上させられるか？
• RQ4 提案手法は、遅延報酬ベンチマークにおいて、既存のオフポリシーアルゴリズムと比較して収束性とパフォーマンスで優れているか？
• RQ5 GRUや構造化ネットワークなどのアーキテクチャ的選択は、遅延報酬環境における価値関数推定にどのような影響を及ぼすか？

主な発見

• 提案された${\mathcal{Q}}$-HC-Singletonアルゴリズムは、Point ReachやMuJoCo環境を含む遅延報酬タスクにおいて、SACや他のベースラインと比較して優れた性能を発揮する。
• HC分解により、実験で示されるように、勾配の分散が低減され、収束が速くなるなど、より安定的かつ効率的な学習が実現される。
• 実験では、エピソードリターンではなくインターバルベースの報酬を使用することで、とくにフィードバックが疎な状況下でもパフォーマンスが向上することが示された。
• 別個でバイアスのないクリティックを用いた分散推定により、提案手法が過大評価バイアスを低減し、勾配品質が向上することが確認された。
• 相対的平均パフォーマンス（RAP）指標は、微調整を遅延報酬タスクで行った場合、Oracle SACを上回ることを示しており、優れた一般化能力を示している。
• 状態行動価値関数$b_{\phi}(s_{t},a_{t})$の可視化結果から、ターゲットに近い位置にいることを学習済み価値関数が正しく反映していることが確認された、直接的な目標情報がなくても。