[論文レビュー] From Infinite to Finite Programs: Explicit Error Bounds with Applications to Approximate Dynamic Programming

Peyman Mohajerin Esfahani, Tobias Sutter+2 more|arXiv (Cornell University)|Jan 23, 2017

Risk and Portfolio Optimization参考文献 35被引用数 4

ひとこと要約

本稿は、無限次元線形計画問題（LP）を扱う新しい近似フレームワークを提案する。このLPは、マーカフ決定過程（MDP）に由来するものであり、正則化された有限次元凸計画問題を用いて、事前および事後誤差境界を明示的に導出する。確率的最適化と一次元法を組み合わせることで、割引コストおよび平均コスト最適制御問題の両方に対して、きめ細かく性能保証が得られる。これにより、可算でない状態空間および行動空間においても、取り扱いやすく、証明可能な解が得られる。

ABSTRACT

We consider linear programming (LP) problems in infinite dimensional spaces that are in general computationally intractable. Under suitable assumptions, we develop an approximation bridge from the infinite-dimensional LP to tractable finite convex programs in which the performance of the approximation is quantified explicitly. To this end, we adopt the recent developments in two areas of randomized optimization and first order methods, leading to a priori as well as a posterior performance guarantees. We illustrate the generality and implications of our theoretical results in the special case of the long-run average cost and discounted cost optimal control problems for Markov decision processes on Borel spaces. The applicability of the theoretical results is demonstrated through a constrained linear quadratic optimal control problem and a fisheries management problem.

研究の動機と目的

• 最適制御および動的計画法における無限次元LPの計算不能性に対処すること。
• 可算でない状態空間および行動空間を有するMDPに対して、明示的な誤差境界を有する構成的近似スキームを開発すること。
• 共通の正則化された有限次元プログラムフレームワークを用いて、割引コストおよび平均コスト問題の既存手法を統合・拡張すること。
• 確率的および凸最適化技術を用いて、事前および事後誤差保証を提供すること。
• 制約付きLQRおよび漁業管理問題を通じて、応用可能性を実証し、性能を厳密に定量すること。

提案手法

• 測度上の無限次元LPとして、無限ホライゾンMDP問題を定式化し、双対性およびモーメント問題を活用する。
• 意思決定変数を有限次元部分空間に制限し、制約を確率的手法でサンプリングすることで、正則化された半無限計画問題を導入する。
• 双対変数のノルム制約（正則化子）を用いて、最適化子のノルムを抑え、明示的な誤差境界を導出する。
• 一次元法を用いて、収束保証付きの結果得られる有限次元凸計画問題を解く。
• インフ・サップ条件および作用素ノルムを用いて事前境界を導出し、双対ギャップ推定により事後境界を導出する。
• 強い双対性および制約サンプリングを用いて、ロバスト性と有限サンプル性能保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 無限次元LPの有限次元近似に対して、明示的な事前および事後誤差境界を導出可能か？
• RQ2 可算でないMDPにおける有界な最適化子およびきめ細かな誤差制御を保証するため、正則化された有限次元プログラムをどのように構築できるか？
• RQ3 ノルム制約（正則化子）は、双対解の安定化および誤差定量化をどのように可能にするか？
• RQ4 実用性および計算の取り扱いやすさという観点から、既存の漸近的保証と比較して、提案フレームワークの境界はどのように異なるか？
• RQ5 同一の理論的枠組みを用いて、割引コストおよび平均コストMDPの両方へ適用可能か？

主な発見

• 提案された正則化された有限次元プログラムは、サンプリングされた制約の数および問題の作用素ノルムに比例する明示的な事前誤差境界を達成する。
• 割引コスト問題において、双対最適化子のノルムは $ \|y^\star\|_{\mathrm{W}} \leq \frac{\theta_{\mathcal{P}} + (1-\tau)^{-1}\|\psi\|_{\infty}}{(1-\tau)\theta_{\mathcal{P}} - \|\psi\mathrm{L}\|} $ で有界であり、安定性が保証される。
• 事後誤差境界は双対ギャップから導出され、数値結果では真の最適値にきめ細かな境界内で収束することが示された。
• 本フレームワークは、統一的な理論的構造のもとで、長期平均コストおよび割引コスト問題の両方を効果的に取り扱える。
• LQRおよび漁業管理の例において、アルゴリズムは証明可能な誤差境界を伴いながらほぼ最適な性能を達成し、実用的応用の有効性が検証された。
• 本手法は、漸近的スキームの構成的代替手段を提供し、かつては存在しなかった有限サンプル性能保証を実現した。