[論文レビュー] Delays in Reinforcement Learning

Pierre Liotet|arXiv (Cornell University)|Sep 20, 2023

Complex Systems and Decision MakingDecision Sciences被引用数 3

ひとこと要約

本稿では、遅延付き強化学習における遅延を形式的枠組みでモデル化・分析するためのものである。遅延付きマルコフ決定過程（MDP）を用い、行動が遅延Δ後に適用される連続時間の抽象化を導入し、状態・行動履歴を拡張した変換MDPを用いて、遅延MDPと標準MDPの間の同等性を確立している。主な貢献は、遅延MDPにおける最適方策が元のMDPにおける最適方策に対応することを証明し、理論的保証のもとで標準RLアルゴリズムを遅延環境に適用可能にすることにある。

ABSTRACT

Delays are inherent to most dynamical systems. Besides shifting the process in time, they can significantly affect their performance. For this reason, it is usually valuable to study the delay and account for it. Because they are dynamical systems, it is of no surprise that sequential decision-making problems such as Markov decision processes (MDP) can also be affected by delays. These processes are the foundational framework of reinforcement learning (RL), a paradigm whose goal is to create artificial agents capable of learning to maximise their utility by interacting with their environment. RL has achieved strong, sometimes astonishing, empirical results, but delays are seldom explicitly accounted for. The understanding of the impact of delay on the MDP is limited. In this dissertation, we propose to study the delay in the agent's observation of the state of the environment or in the execution of the agent's actions. We will repeatedly change our point of view on the problem to reveal some of its structure and peculiarities. A wide spectrum of delays will be considered, and potential solutions will be presented. This dissertation also aims to draw links between celebrated frameworks of the RL literature and the one of delays.

研究の動機と目的

• 行動遅延を含む強化学習における遅延の影響を、数学的に厳密に形式化すること。
• 標準RLアルゴリズムが行動や観測の遅延を伴う環境では失敗するという課題に対処すること。
• 状態の拡張を通じて、遅延MDPと標準MDPの理論的同等性を確立すること。
• 問題を同等の標準MDPに変換することで、遅延環境に対しても標準RLアルゴリズムの適用を可能にすること。
• 元のMDPと変換MDPにおける方策の性能同等性に関する理論的保証を提供すること。

提案手法

• 行動が遅延Δ後に適用される連続時間の遅延MDPモデルを導入し、遅延を考慮した状態遷移カーネルを用いる。
• 遅延を符号化するために過去の行動を含む拡張状態空間を持つ、変換MDP $\widetilde{\mathcal{M}}$ を定義する。
• 状態行動履歴測度 $\mu^\pi_\gamma$ を用いて、各状態行動ペアに費やされる期待割引時間の合計を表現し、性能分析を可能にする。
• 現在の拡張状態 $x = (s, a_1, \dots, a_{\lceil\Delta\rceil})$ から次の状態への遷移カーネル $\widetilde{p}(x'|x,a)$ を構築し、一連の決定的遷移を用いて遅延を組み込む。
• 元のMDPの期待報酬を条件づけた遅延報酬関数 $\widetilde{r}(x,a)$ を定義する。
• 変換MDP $\widetilde{\mathcal{M}}$ における最適方策が、元のMDP $\mathcal{M}$ における最適方策に対応することを証明し、理論的同等性を保証する。

実験結果

リサーチクエスチョン

• RQ1 行動実行の遅延を、マルコフ決定過程の枠組み内でどのように形式的にモデル化できるか？
• RQ2 最適方策および価値関数の観点から、遅延MDPと標準MDPとの間の関係は何か？
• RQ3 遅延MDPを、標準MDPと同等となるように変換できるか。その場合、標準RLアルゴリズムを最適性を失わず適用可能か？
• RQ4 遅延MDPにおける方策の性能が元のMDPにおける性能と一致するための条件は何か？
• RQ5 遅延は状態行動履歴測度およびMDPにおける期待報酬にどのように影響するか？

主な発見

• 変換MDP $\widetilde{\mathcal{M}}$ における最適方策は、元のMDP $\mathcal{M}$ における最適方策と同等であり、標準RLアルゴリズムを遅延環境に適用する際、最適性に損なわれないことを保証する。
• 元のMDPにおける状態行動履歴測度 $\mu^\pi_\gamma$ は、変換MDPから回復可能であり、期待割引報酬を保持する。
• 変換MDP $\widetilde{\mathcal{M}}$ は、元のMDPと同一の期待割引報酬 $J^\pi_\gamma$ を維持する。これは、恒等式 $J^\pi_\gamma = \int_{\mathcal{S},\mathcal{A}} r(s,a) \, d\mu^\pi_\gamma(ds,da)$ によって示される。
• 任意の遅延 $\Delta \in \mathbb{R}_{\geq 0}$ に対して、遅延遷移分布 $b_\Delta(\cdot|s,a)$ と $s$ におけるデルタ関数との間のワサーライン距離が $\Delta L_T$ で有界であるため、小さな遅延においても安定性が保証される。
• 状態を拡張した同等の標準MDPに問題を変換することにより、標準RLアルゴリズムを行動遅延を伴う環境に適用可能にする。
• 元のMDPと変換MDPの理論的同等性は、$\Delta$ が整数でない場合でも成立し、遅延の統一的取り扱いが可能になる。