[論文レビュー] On the Taylor Expansion of Value Functions

Anton Braverman, Itai Gurvich+1 more|arXiv (Cornell University)|Apr 13, 2018

Auction Theory and Applications参考文献 8被引用数 5

ひとこと要約

本稿は、価値関数に2階テイラー展開を適用することにより、近似的な動的計画法のための新規フレームワークを提示する。これにより、離散時間マルコフ決定過程は連続空間の拡散近似（Taylored Control Problem, TCP）に変換される。この手法により、PDEに基づく境界を用いた性能保証が可能となり、滑らかさと大きな初期状態の条件下で、最適性ギャップが最適値の $1-\alpha$ 分の1未満であることが示された。

ABSTRACT

We introduce a framework for approximate dynamic programming that we apply to discrete time chains on $\mathbb{Z}_+^d$ with countable action sets. Our approach is grounded in the approximation of the (controlled) chain's generator by that of another Markov process. In simple terms, our approach stipulates applying a second-order Taylor expansion to the value function to replace the Bellman equation with one in continuous space and time where the transition matrix is reduced to its first and second moments. In some cases, the resulting equation (which we label {\bf TCP}) can be interpreted as corresponding to a Brownian control problem. When tractable, the TCP serves as a useful modeling tool. More generally, the TCP is a starting point for approximation algorithms. We develop bounds on the optimality gap---the sub-optimality introduced by using the control produced by the "Taylored" equation. These bounds can be viewed as a conceptual underpinning, analytical rather than relying on weak convergence arguments, for the good performance of controls derived from Brownian control problems. We prove that, under suitable conditions and for suitably "large" initial states, (i) the optimality gap is smaller than a $1-α$ fraction of the optimal value, where $α\in (0,1)$ is the discount factor, and (ii) the gap can be further expressed as the infinite horizon discounted value with a "lower-order" per period reward. Computationally, our framework leads to an "aggregation" approach with performance guarantees. While the guarantees are grounded in PDE theory, the practical use of this approach requires no knowledge of that theory.

研究の動機と目的

• 高次元の離散時間マルコフ連鎖に対する扱いやすい近似フレームワークを構築することで、動的計画法における次元の呪いに対処する。
• ブラウン運動制御問題と実践的動的計画法の間のギャップを埋めるために、弱収束ではなく解析的性能境界に基づいてそれらの使用を根拠づける。
• 最適制御におけるブラウン近似の強力な経験的性能の背後にある概念的・分析的基盤を、PDE理論を用いて提供する。
• Taylored Control Problem (TCP) フレームワークに基づく状態の集約を通じて、計算効率が良く性能保証のあるアルゴリズムを開発する。
• 拡散近似の適用範囲を性能分析から最適制御にまで拡大し、部分最適性に関する厳密な誤差境界を提供する。

提案手法

• ベルマン方程式における価値関数に2階テイラー展開を適用し、離散的遷移を、遷移カーネルの1次および2次モーメントから導かれる連続空間のドリフト項 $\alpha\mu(x)$ と拡散項 $\alpha\sigma^2(x)$ に置き換える。
• Taylored Control Problem (TCP) を、ドリフト $\alpha\mu(x)$、拡散 $\alpha\sigma^2(x)$、指数的割引を伴う2階偏微分方程式（PDE）に従う連続空間の確率的制御問題として定式化する。
• 古典的PDE理論を用いて、元のMDPとTCP解との間の最適性ギャップの境界を導出する。その際、近似された価値関数の3階微分に依存する。
• 最適性ギャップが、最大ジャンプサイズにスケーリングされた局所的3階微分項の割引無限和によって有界であることを確立する。
• グリッドの粗さを $D^2\widehat{V}$ を通じた局所的曲率に応じて適応的に変更する状態集約戦略を提案し、正確性を損なわずに計算効率を向上させる。
• TCPを近似アルゴリズムの出発点として活用し、漸近的極限ではなくPDEの存在性および正則性理論に基づいた理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 ベルマン方程式における価値関数の2階テイラー展開が、高次元MDPに対して扱いやすく解析的に正当化された近似をもたらすか。
• RQ2 真のMDP方策ではなくTCP解を用いることで生じる部分最適性（最適性ギャップ）の理論的境界は何か。
• RQ3 ブラウン運動制御問題の性能を、ヒューリスティック的または漸近的議論を超えて、最適制御設定で厳密に正当化できるか。
• RQ4 TCPフレームワークを有限ホライズン問題に拡張できるか。誤差制御を維持するために必要な修正は何か。
• RQ5 局所的価値関数曲率（$D^2\widehat{V}$）に基づく適応的状態集約により、TCPフレームワークにおける計算効率をどのように向上できるか。

主な発見

• 適切な滑らかさと大きな初期状態の条件下で、TCPに基づく制御の最適性ギャップは、最適値の $1-\alpha$ 分の1未満に厳密に制限される。ここで $\alpha \in (0,1)$ は割引率である。
• 最適性ギャップは、下位の1期間報酬の無限ホライズン割引値として表現可能であり、明示的に近似価値関数の3階微分に依存する。
• 誤差境界は $\mathbb{E}_{x}^{\widehat{U}_{*}}\left[\sum_{t=0}^{\infty}\bar{\alpha}_{h}^{t}h^{2+\beta}[D^{2}\widehat{V}_{*}]_{\beta,X_{t}^{h}\pm h}^{*}\right]$ に比例し、局所的曲率とステップサイズに依存することが示された。
• PDE理論に基づく性能保証が提供され、弱収束論に依存する従来の漸近的議論とは対照的に、非漸近的かつ分析的代替手法が得られた。
• TCP定式化はブラウン運動制御問題に対応すると解釈でき、離散時間MDPにおける拡散モデルと最適制御の間の概念的リンクを提供する。
• 局所的2階微分の大きさに基づく適応的かつ非一様なグリッド細分化は、誤差境界を維持したまま計算効率を顕著に向上させることができる。