[論文レビュー] Reoptimization Nearly Solves Weakly Coupled Markov Decision Processes

Nicolas Gast, Bruno Gaujal+1 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、複数の行動と制約を伴う弱結合型マーケット・ディシジョン過程（MDP）の一般化として、有限時域の弱結合型MDPにおけるLPアップデート方策を導入する。各時刻で線形計画法（LP）を解き、丸め手順を適用することで、漸近的最適性を 𝒪(1/√N) のレートで達成する。非退化性の下では 𝒪(1/N) に改善され、完全な丸めが可能である場合には e⁻ᴼ⁽ᴺ⁾ にまで向上する。理論的保証と効率的な実装を両立する。

ABSTRACT

We propose a new policy, called the LP-update policy, to solve finite horizon weakly-coupled Markov decision processes. The latter can be seen as multi-constraint multi-action bandits, and generalize the classical restless bandit problems. Our solution is based on re-solving periodically a relaxed version of the original problem, that can be cast as a linear program (LP). When the problem is made of $N$ statistically identical sub-components, we show that the LP-update policy becomes asymptotically optimal at rate $O(T^2/\sqrt{N})$. This rate can be improved to $O(T/\sqrt{N})$ if the problem satisfies some ergodicity property and to $O(1/N)$ if the problem is non-degenerate. The definition of non-degeneracy extends the same notion for restless bandits. By using this property, we also improve the computational efficiency of the LP-update policy. We illustrate the performance of our policy on randomly generated examples, as well as a generalized applicant screening problem, and show that it outperforms existing heuristics.

研究の動機と目的

• 複数の行動と制約を伴う弱結合型MDPに対して、漸近的最適性を示す方策が不足している現状を是正し、古典的リスティング・バンディットの一般化を図ること。
• 既存の方策が漸近的最適性の証明を持たない多行動・多制約MDPにおける理論的保証のギャップを埋めること。
• 大規模な確率的逐次意思決定に適した、線形計画法と丸めを活用したスケーラブルで効率的な方策の開発。
• 非退化性や完全丸めなどの構造的仮定の下で、提案方策の収束レートを確立すること。
• 一般化された応募者スクリーニングなどの実世界心用に適した実用的で理論的根拠を持つ手法の提供。

提案手法

• LPアップデート方策は、各意思決定時刻 t において、現在の状態構成 M^(N)(t) と残りの時域 T−t を用いて、時間依存の線形計画法（LP）を解き、最適な分数行動分布 y*(t) を計算する。
• 方策は床関数を用いた丸めにより、整数行動回数ベクトル Y^(N)(t) を計算する：a≠0 の場合、Y^(N)_{s,a}(t) = N⁻¹⌊Ny*_{s,a}(t)⌋ であり、受動的行動は資源制約を満たすように調整される。
• 方策は丸められた行動回数を用いて、次の時刻にシステムを遷移させ、グローバル資源制約のもとで妥当性を保証する。
• 理論的分析では、動的計画法の原則と最適性の原理を用いて、方策の価値と緩和されたLP価値 V_rel を比較する。
• リプシッツ連続性の議論を用いて、方策の性能とLP緩和との乖離をバインドし、𝒪(1/√N) の最適性を確立する。
• 非退化性および完全丸め可能な問題の下で収束レートを向上させるための高度な丸め手順を導入する。

実験結果

リサーチクエスチョン

• RQ1 N→∞ のとき、漸近的最適性を達成する弱結合型MDPに適した、複数の行動と制約を伴う方策を設計可能か？
• RQ2 このような方策に対して理論的に保証できる収束レートは何か？ また、非退化性や完全丸めといった構造的性質にどのように依存するか？
• RQ3 大規模な設定において、既存の方策と比較して、性能と計算効率の点でLPアップデート方策はどのように差をつけるか？
• RQ4 特定の問題条件下で、𝒪(1/√N) を超える収束速度を達成するために丸め手順を最適化可能か？
• RQ5 理論的性能保証を維持しながら、LPアップデート方策は効率的に実装可能か？

主な発見

• LPアップデート方策は、統計的に同一のアームを伴う任意の弱結合型MDPに対して、𝒪(1/√N) のレートで漸近的最適性を達成する。
• 非退化性の条件下では、収束レートは 𝒪(1/N) に改善され、2行動のリスティング・バンディットにおいて知られている性質を拡張する。
• 問題が完全丸め可能である場合、収束レートは指数的になる（e⁻ᴼ⁽ᴺ⁾）ため、一般ケースを著しく上回る。
• 方策は 𝒪(1/√N)-最適性であることが証明されており、下界の一致により、一般にはこのレートがタイトであることが示されている。
• 提案された丸め手順により、理論的保証を維持しながら実用的性能を向上させる効率的実装が可能である。
• 一般化された応募者スクリーニング問題において実証的に検証され、理論的予測と整合的な強力な経験的性能を示した。