[論文レビュー] Coupling and a generalised Policy Iteration Algorithm in continuous time

Saul Jacka, Aleksandar Mijatović+1 more|arXiv (Cornell University)|Jul 25, 2017

Advanced Control Systems Optimization参考文献 15被引用数 3

ひとこと要約

本稿では、漂移項と拡散項の両方が共同で制御可能な連続時間制御拡散過程に対する一般化された方策反復アルゴリズムを提示する。LindvallとRogersのミラー結合を用いて、報酬関数の単調収束および方策の局所一様収束が最適解へと成立することを確立し、モデルデータに関する検証可能な条件下で、アルゴリズムが適切に定義され、値関数へ収束することを証明する。

ABSTRACT

We analyse a version of the policy iteration algorithm for the discounted infinite-horizon problem for controlled multidimensional diffusion processes, where both the drift and the diffusion coefficient can be controlled. We prove that, under assumptions on the problem data, the payoffs generated by the algorithm converge monotonically to the value function and an accumulation point of the sequence of policies is an optimal policy. The algorithm is stated and analysed in continuous time and state, with discretisation featuring neither in theorems nor the proofs. A key technical tool used to show that the algorithm is well-defined is the mirror coupling of Lindvall and Rogers.

研究の動機と目的

• 連続時間および連続状態空間における無限ホライズン割引制御問題に対する方策反復アルゴリズムの開発。
• アルゴリズムによって生成される報酬関数の列が、値関数へ単調に収束することの証明。
• 生成された方策の部分列が局所一様に最適方策へ収束することの確立。
• Sobolev空間に依存しない古典的偏微分方程式解を用いて、アルゴリズムが適切に定義されることの保証。
• 標準的結合条件が満たされない場合でも、ミラー結合を主要な技術的道具として用いて収束を示すこと。

提案手法

• 離散化を一切用いず、任意の正のスケーリング関数を用いた一般化された方策反復フレームワークに基づく連続時間でのアルゴリズム定式化。
• LindvallとRogersのミラー結合を用いて、局所リプシッツ連続なマルコフ方策の報酬関数が古典的意味でのポアソン方程式を満たすことを確立。
• 結合された拡散過程の時間変換距離過程とBessel過程との間の局所的経路ごとの比較を用いて、結合の高確率的成功を証明。
• 対角線的補完法とArzela-Ascoli型のコンパクトネス結果を用いて、報酬関数および方策の収束を確立。
• 値関数が報酬列の点wise極限として得られることを示し、極限方策が最適であることを証明。
• 理論的結果は、6回未満の反復で高速に収束する数値例によって裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 一般化方策反復アルゴリズムは、連続時間制御拡散過程において、値関数へ単調に収束するか？
• RQ2 ハミルトニアン・ジャコビ・ベルマン方程式の一般化解ではなく、古典的解を用いて、方策反復アルゴリズムを適切に定義できるか？
• RQ3 ミラー結合が、局所リプシッツ連続方策の報酬関数がポアソン方程式の古典的解であることを保証する条件は何か？
• RQ4 アルゴリズムによって生成される方策列が、局所一様に最適方策へ収束するか？
• RQ5 漂移係数と拡散係数の両方が制御可能である場合、アルゴリズムは依然として適切に定義され、収束するか？

主な発見

• モデルデータに関する検証可能な仮定のもとで、方策反復アルゴリズムによって生成される報酬列は、値関数へ単調に収束する。
• アルゴリズムによって生成される方策の部分列は、局所リプシッツ連続な極限方策へ局所一様に収束する。
• 極限方策が最適であることが証明され、その値関数は報酬列の点wise極限と等しい。
• ミラー結合技術により、標準的結合条件が満たされない場合でも、局所リプシッツ連続マルコフ方策の報酬関数がポアソン方程式の古典的解であることが保証される。
• 定理や証明において離散化を一切用いず、連続時間で適切に定義されたアルゴリズムであり、古典的PDE解に依存する。
• 数値例により、わずか6回未満の反復で高速に収束し、最適方策が得られることを示した。