[論文レビュー] First-Order Methods for Wasserstein Distributionally Robust MDP

Julien Grand-Clément, Christian Kroer|arXiv (Cornell University)|Sep 14, 2020

Infrastructure Maintenance and Monitoring被引用数 2

ひとこと要約

本稿では、Wasserstein分布ロバストMDPを解くための1次元法（FOM）フレームワークを提案する。この手法は、近接更新と近似ベルマン反復を組み合わせることで、O(N^{2.5}A^{2.5}S^{2.5} × log(S) log(ϵ^{-1}) × ϵ^{-1.5})の収束速度を達成し、内点法のO(N^{3.5}A^{3.5}S^{4.5} log^2(ϵ^{-1}))に比べ顕著な改善を示す。本手法により、ℓ1、ℓ2、ℓ∞ Wasserstein不確実性集合に対してスケーラブルでほぼ線形時間の近接更新が可能となり、数値実験でも最先端の手法を上回る性能を発揮する。

ABSTRACT

Markov decision processes (MDPs) are known to be sensitive to parameter specification. Distributionally robust MDPs alleviate this issue by allowing for \emph{ambiguity sets} which give a set of possible distributions over parameter sets. The goal is to find an optimal policy with respect to the worst-case parameter distribution. We propose a framework for solving Distributionally robust MDPs via first-order methods, and instantiate it for several types of Wasserstein ambiguity sets. By developing efficient proximal updates, our algorithms achieve a convergence rate of $O\left(NA^{2.5}S^{3.5}\log(S)\log(\epsilon^{-1})\epsilon^{-1.5} ight)$ for the number of kernels $N$ in the support of the nominal distribution, states $S$, and actions $A$; this rate varies slightly based on the Wasserstein setup. Our dependence on $N,A$ and $S$ is significantly better than existing methods, which have a complexity of $O\left(N^{3.5}A^{3.5}S^{4.5}\log^{2}(\epsilon^{-1}) ight)$. Numerical experiments show that our algorithm is significantly more scalable than state-of-the-art approaches across several domains.

研究の動機と目的

• Wasserstein不確実性集合を伴う分布ロバストMDP（DR-MDP）を解く際の内点法（IPM）のスケーラビリティ制限を解決すること。
• 状態数S、行動数A、カーネル数Nに依存する依存度を改善することで、計算複雑度を低減する1次元法（FOM）フレームワークを構築すること。
• ℓ1、ℓ2、ℓ∞ Wasserstein度量のさまざまな近接更新スキームを設計し、ほぼ線形時間での計算を可能にすること。
• 特にスパースまたはノイズの多いデータを伴う大規模MDPにおいて、価値反復（VI）よりも高速な収束を達成すること。
• モデルの不適合に起因する分布的不確実性に対してロバストであることを保証し、医療や車両ルーティングなどの順序付き意思決定において有効にすること。

提案手法

• 最大最小のロバストMDP問題を解くために、1次元法（FOM）更新と近似ベルマン更新を交互に実行する。
• ベルマン作用素から導出された線形化された価値ベクトル推定値に対して勾配に基づくFOM更新を適用する。
• ℓ1、ℓ2、ℓ∞ Wasserstein不確実性集合のための新規近接アルゴリズムを開発し、近接反復のほぼ線形時間での計算を可能にする。
• ロバストベルマン方程式を、最大最小の目的関数を持つ有限次元凸計画問題に再定式化し、錐計画法の構造を活用する。
• 価値関数更新の収束を加速するために、ウォームスタートと効率的なソルバー（例：Gurobi）を適用する。
• ε-最適性に達した際に反復を終了するために、双対ギャップのモニタリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 1次元法は、特にN、A、Sに依存する点で、内点法に比べてWasserstein DR-MDPにおいてより優れたスケーラビリティを達成できるか？
• RQ2 ℓ1、ℓ2、ℓ∞度量の複数のWasserstein度量に対して、ほぼ線形時間での計算が可能な効率的な近接更新を設計できるか？
• RQ3 近似ベルマン更新と反復的方策平均化を用いる場合でも、提案されたFOMフレームワークが収束保証を維持できるか？
• RQ4 カーネル数Nと状態数Sが増加するに従い、最先端の手法と比較してどのようにスケーリングするか？
• RQ5 構造的およびランダムなMDPインスタンスにおいて、本手法が価値反復やIPMベースのソルバーを実際の性能で上回れるか？

主な発見

• 提案されたFOMフレームワークは、O(N^{2.5}A^{2.5}S^{2.5} log(S) log(ϵ^{-1}) × ϵ^{-1.5})の収束速度を達成し、内点法のO(N^{3.5}A^{3.5}S^{4.5} log^2(ϵ^{-1}))に比べ顕著な改善を示す。
• カーネル数Nに比例してスケーリングされ、S=A=30の条件下で、N=5のとき1.6秒からN=70のとき120.2秒まで実行時間が増加する。
• 大規模インスタンス（例：S=30、A=30、N=70）において、FOMベースのアルゴリズムはIPMベースのソルバーを実行時間の点で上回り、優れたスケーラビリティを示す。
• T回の1次元更新後、双対ギャップはO(1/T^{2/3})の速度で減少し、ε-最適方策への収束が示唆される。
• 構造的（マシン交換、森林管理）およびランダム（Garnet）MDPにおける数値実験により、本手法は最先端の手法に比べて顕著にスケーラブルであることが確認された。
• 価値反復（O(log(1/ϵ)）に比べて収束速度が遅い（O(1/T^{2/3})）ものの、1回の反復コストが低いため、大規模問題においてより優れた全体的な性能を発揮する。