[論文レビュー] Faster saddle-point optimization for solving large-scale Markov decision processes

Joan Bas-Serrano, Gergely Neu|arXiv (Cornell University)|Sep 22, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 4

ひとこと要約

本稿では、特徴マップの新たな一貫性仮定を導入することで、緩和された双線形サドルポイント定式化を用いて大規模なマークフ・決定過程（MDP）のためのより高速なサドルポイント最適化手法を提案する。$\tilde{\mathrm{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$ の実行時間で $\varepsilon$-最適方策が得られ、状態空間のサイズに依存せず、緩和最適化における一貫性仮定が最適方策への収束にとって必要かつ十分であることが示された。

ABSTRACT

We consider the problem of computing optimal policies in average-reward Markov decision processes. This classical problem can be formulated as a linear program directly amenable to saddle-point optimization methods, albeit with a number of variables that is linear in the number of states. To address this issue, recent work has considered a linearly relaxed version of the resulting saddle-point problem. Our work aims at achieving a better understanding of this relaxed optimization problem by characterizing the conditions necessary for convergence to the optimal policy, and designing an optimization algorithm enjoying fast convergence rates that are independent of the size of the state space. Notably, our characterization points out some potential issues with previous work.

研究の動機と目的

• 動的計画法に依存しない、理論的に効率的な凸最適化に基づく大規模な平均報酬 MDP の解法を構築すること。
• 緩和されたサドルポイント定式化が最適方策をもたらす条件を特定すること。主に実現可能性と新たに定義された一貫性条件に焦点を当てる。
• 状態空間サイズに依存しない収束レートを有する最適化アルゴリズムを設計すること。これにより、従来の方法の $1/\varepsilon^2$ 依存性を改善する。
• 一貫性仮定の必要性を、最適方策が得られない反例を構築することで示すこと。
• 特徴ベースの政策最適化の理論的基盤を明確にし、価値関数の近似と政策のサブオプティマルさの違いを区別すること。

提案手法

• 線形計画法の双対性を用いて、平均報酬 MDP 問題を双線形サドルポイント問題に定式化する。
• 価値関数と方策をパラメータ化するための特徴マップ $F$ と $W$ を用いて、次元削減を図る緩和最適化問題を導入する。
• ミラー・プロックス法を用いて緩和されたサドルポイント問題を解き、$\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$ の実行時間で高速収束を保証する。
• 最適解が緩和空間内で最適方策に対応するように保証するため、特徴マップ $F$ と $W$ 間の新しい一貫性仮定を定義する。
• 方策の双対表現 $y^*$ を用い、$\mu^* = W^T y^*$ により緩和解から方策を回復可能にする。
• 理論的保証を確立するため、一貫性仮定が最適性を保持することを証明する。一方、仮定を満たさない場合、サブオプティマルな方策が得られる可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 緩和された MDP 線形計画問題のサドルポイント定式化が、いつ最適方策をもたらすか。
• RQ2 状態空間サイズに依存しない高速な収束レートを達成できるか。
• RQ3 一貫性仮定が緩和されたサドルポイントアプローチの有効性にとって必要か。
• RQ4 混合時間および方策分布比に依存する点で、本手法は先行研究とどのように比較されるか。
• RQ5 一貫性仮定が近似的にしか満たされない場合、緩和アプローチの理論的保証は一般化可能か。

主な発見

• 提案手法は、$N$ を緩和問題におけるパラメータ数、$\tau_{\text{mix}}$ を混合時間として、$\varepsilon$-最適方策を求めるための $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$ の実行時間を達成する。
• 一貫性仮定は、緩和されたサドルポイント定式化が最適方策をもたらすために必要かつ十分である。仮定を満たさない場合、サブオプティマルな解が得られる可能性がある。
• 従来の手法と比較して、精度依存性を $1/\varepsilon^2$ から $1/\varepsilon$ に改善し、方策分布の一様性に依存する $\alpha^2$ 項を回避することで、$|\mathcal{X}|$ に指数関数的に依存するリスクを低減する。
• 著者らは、一貫性仮定がなければ、緩和問題の最適解でも最適方策が得られない反例を構築した。
• 分析から、Chen ら（2018）の主張のように、収束に実現可能性のみが必要であるという主張は、しばしば破綻する実際の状況で有効な有界な定常分布比に暗黙的に依存しているため、誤りである可能性があることが明らかになった。
• 一貫性仮定は、従来の条件よりもより根本的かつ明確な理論的基盤を提供し、特徴ベース MDP における最適化アルゴリズムの分析をより明確に可能にする。