[論文レビュー] Large-Scale Markov Decision Problems via the Linear Programming Dual

Yasin Abbasi-Yadkori, Peter L. Bartlett+2 more|arXiv (Cornell University)|Jan 6, 2019

Reinforcement Learning in Robotics参考文献 27被引用数 7

ひとこと要約

本稿では、線形計画法の双対定式を用いて低次元のポリシー族を導出し、大規模なマルコフ決定過程（MDP）を解くための新規なアプローチを提案する。この手法は、近似占有測度を介して得られる低次元のポリシー族に対して最適化を行う。また、状態空間のサイズではなく部分空間次元に依存してスケーリングする効率的な確率的部分勾配法を導入し、平均コストおよび割引コスト設定の両方で保証可能な超過損失バウンドを達成する。実験ではキューイングネットワーク応用において実証的妥当性を示した。

ABSTRACT

We consider the problem of controlling a fully specified Markov decision process (MDP), also known as the planning problem, when the state space is very large and calculating the optimal policy is intractable. Instead, we pursue the more modest goal of optimizing over some small family of policies. Specifically, we show that the family of policies associated with a low-dimensional approximation of occupancy measures yields a tractable optimization. Moreover, we propose an efficient algorithm, scaling with the size of the subspace but not the state space, that is able to find a policy with low excess loss relative to the best policy in this class. To the best of our knowledge, such results did not exist in the literature previously. We bound excess loss in the average cost and discounted cost cases, which are treated separately. Preliminary experiments show the effectiveness of the proposed algorithms in a queueing application.

研究の動機と目的

• 状態空間が標準的な動的計画法や線形計画法の手法では処理できないほど巨大な場合に、大規模MDPを解くことの非効率性に対処すること。
• 全状態空間のサイズではなく低次元のポリシークラスに依存してスケーリングする実行可能なかつ効率的な最適化フレームワークを構築すること。
• 平均コストおよび割引コストMDPの両設定において、パrametricクラス内の最良ポリシーに対する理論的超過損失バウンドを提供すること。
• 従来の近似線形計画法（ALP）手法とは異なり、最適ポリシーの分布からのサンプルに依存しないアルゴリズムを設計すること。
• キューイングネットワークにおける実験を通じて、特徴次元を10,000分の1に削減した状況で、実用的有効性を示すこと。

提案手法

• 線形計画法の双対定式を用いてMDP計画問題を定式化し、占有測度と特徴行列Φによる低次元近似に焦点を当てる。
• 双対空間における線形関数によるポリシーのパrameter化により、ポリシーの低次元部分空間における最適化を可能にする。
• 目的関数と制約違反の両方を組み合わせたサロゲート損失関数を最小化するために確率的部分勾配降下法を用いる。
• 制約をオンザフライでランダムにサンプリングするアルゴリズムを導入し、部分空間次元にのみ依存するため、大規模な状態空間へのスケーラビリティを確保する。
• 双対LPの構造を活用して、新しい証明技術を用いて平均コストおよび割引コスト設定における超過損失バウンドを導出する。
• 遷移先が任意の状態に到達する状態にアクセスできるように、後向きシミュレータを統合し、制約のサンプリングとポリシー評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低次元ポリシークラス上で最適化する場合に、大規模MDPに対して保証可能な超過損失バウンドを達成できるか？
• RQ2 MDP計画において、状態空間全体のサイズではなく部分空間次元に依存してスケーリングするアルゴリズムを設計することは可能か？
• RQ3 双対LP定式化を用いて、平均コストおよび割引コストMDP設定の両方で理論的性能保証を導出できるか？
• RQ4 従来のALP手法が最適ポリシーの分布からのサンプルに依存するのとは異なり、収束性と誤差バウンドを維持したまま、その依存を回避できるか？
• RQ5 実世界の応用例（キューイングネットワークなど）において、ヒューリスティックなポリシーと比較して、提案手法は実用的にどれほど有効か？

主な発見

• 提案されたアルゴリズムは、平均コストおよび割引コストMDPの両設定において、パrametricクラス内の最良ポリシーに対する超過損失バウンドを達成し、新しい証明技術を用いて導出された。
• この手法は状態空間のサイズではなくポリシー部分空間の次元に依存してスケーリングされ、大規模問題における効率的な計算を可能にする。
• 元の状態空間から特徴次元を372に削減（10^4倍の縮小）したキューイングネットワークにおいて、平均損失の観点で2つの一般的なヒューリスティック（LONGERおよびLBFS）を上回った。
• 確率的部分勾配降下法はサロゲート損失関数を効果的に最小化し、図5の右側プロットに示すように、低い平均損失を達成した。
• 従来のALP手法とは根本的に異なり、価値関数ではなく定常分布を扱うことで、新しい理論的およびアルゴリズム的展開が可能になった。
• 実験結果は、サロゲート損失関数の最小化が、実際の平均損失が低いポリシーを生成することを確認しており、理論的枠組みの妥当性を裏付けた。