[論文レビュー] Randomized Optimal Stopping Problem in Continuous time and Reinforcement Learning Algorithm

Yuchao Dong|arXiv (Cornell University)|Aug 4, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、報酬関数にエントロピー正則化を組み込むことで連続時間における確率的最適停止枠組みを導入し、問題を解けるHJB方程式に変換する。ポリシー反復の収束速度を確立し、温度パラメータλが学習速度とバイアスのバランスをとることを示し、アメリカン・プット・オプションにおける数値結果により、特化した強化学習アルゴリズムを用いた手法の有効性を検証する。

ABSTRACT

In this paper, we study the optimal stopping problem in the so-called exploratory framework, in which the agent takes actions randomly conditioning on current state and an entropy-regularized term is added to the reward functional. Such a transformation reduces the optimal stopping problem to a standard optimal control problem. We derive the related HJB equation and prove its solvability. Furthermore, we give a convergence rate of policy iteration and the comparison to classical optimal stopping problem. Based on the theoretical analysis, a reinforcement learning algorithm is designed and numerical results are demonstrated for several models.

研究の動機と目的

• 強化学習の探索的枠組みを連続時間における最適停止問題へ拡張すること。
• エントロピー正則化を用いて最適停止問題を正則化された最適制御問題に再定式化すること。
• アメリカン・プット・オプションに対して関連するハミルトニアン・ジャコビ・ベルマン（HJB）方程式の解法を導出し、その可解性を証明すること。
• 温度パラメータλの選択における収束速度とバイアスのトレードオフを分析すること。
• 理論的知見に基づいた強化学習アルゴリズムを設計・検証し、金融モデルにおける数値実験を通じて評価すること。

提案手法

• 価値推定値に対する温度調整付きソフトマックスに基づいて確率的に行動を選択する確率的ポリシー枠組みを導入する。
• ポリシーの微分エントロピーに比例する正則化項を報酬関数に追加し、探索を促進する。
• この探索的定式化下での価値関数に対するHJB方程式を導出し、粘性解理論とSchauder推定を用いてその可解性を証明する。
• 正則化された価値関数と古典的最適価値関数との差の上限を確立し、それがO(λ log(1/λ))に比例することを示す。
• 収束速度解析を伴うポリシー反復アルゴリズムを設計し、適切な条件下で線形収束を示す。
• ニューラルネットワークを用いて価値関数とポリシーを近似する強化学習アルゴリズムを実装し、微分可能となるようソフトな停止ルールを導入する。

Figure 1 : Value functions $u^{\lambda}$ and $u^{*}$ at $t=0$

実験結果

リサーチクエスチョン

• RQ1 連続時間強化学習における探索的枠組みを、連続時間における最適停止問題にどのように適応できるか。
• RQ2 温度パラメータλが解の収束速度とバイアスのトレードオフに与える影響は何か。
• RQ3 正則化された最適停止問題に対して導出されたHJB方程式が、古典的解を有することを証明できるか。
• RQ4 正則化された価値関数V^λと古典的最適価値関数V*との間の近似誤差は、どのように関係するか。
• RQ5 この確率的最適停止設定下でのポリシー反復アルゴリズムの収束速度は何か。

主な発見

• 正則化された最適停止問題のHJB方程式は古典的解を有することを示し、局所的Schauder推定を用いて連続的な微分可能性を確立する。
• 正則化された価値関数V^λと古典的最適価値関数V*との差がO(λ log(1/λ))で有界であることを示し、バイアスが制御可能であることを示す。
• ポリシー反復アルゴリズムは線形収束を示し、収束速度は温度パラメータλの選択に依存する。
• 数値結果により、λを増加させることで収束速度が向上するが、同時に解のバイアスが増加することが確認され、トレードオフが裏付けられる。
• 提案された強化学習アルゴリズムは、アメリカン・プット・オプションの最適停止戦略を効果的に学習でき、ソフトな停止ルールにより勾配ベース最適化が可能である。
• 期待割引報酬損失の理論的上限がおおよそO(λ log(1/λ))であることを示し、これは確率的ポリシーを用いる際の資産コストを定量的に示している。

(a) $\{u^{\lambda}>h\}$