[論文レビュー] Implicit Finite-Horizon Approximation and Efficient Optimal Algorithms for Stochastic Shortest Path

Liyu Chen, Mehdi Jafarnia-Jahromi+2 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Bandit Algorithms Research参考文献 30被引用数 5

ひとこと要約

本稿では、確率的最短経路（SSP）問題に対するミニマックス最適なレジーットアルゴリズムを設計するための、新たな暗黙的有限ホライズン近似手法を導入する。2つの新しいアルゴリズムを提案する：LCB-Advantage-SSP は、正のコストが保証される条件下で、ミニマックス最適なレジーットを達成する最初のモデルフリーなSSPアルゴリズムであり、SVI-SSP はゼロコストの行動対も含む状況でもミニマックス最適性を達成するモデルベースのアルゴリズムであり、両者とも更新が非常に疎であり、パラメータフリーなバージョンも可能である。

ABSTRACT

We introduce a generic template for developing regret minimization algorithms in the Stochastic Shortest Path (SSP) model, which achieves minimax optimal regret as long as certain properties are ensured. The key of our analysis is a new technique called implicit finite-horizon approximation, which approximates the SSP model by a finite-horizon counterpart only in the analysis without explicit implementation. Using this template, we develop two new algorithms: the first one is model-free (the first in the literature to our knowledge) and minimax optimal under strictly positive costs; the second one is model-based and minimax optimal even with zero-cost state-action pairs, matching the best existing result from [Tarbouriech et al., 2021b]. Importantly, both algorithms admit highly sparse updates, making them computationally more efficient than all existing algorithms. Moreover, both can be made completely parameter-free.

研究の動機と目的

• 最小限の最適なレジーットを達成する効率的でモデルフリーなレジーット最小化アルゴリズムが、ミニマックス最適なレジーットを達成するための確率的最短経路（SSP）設定において不足している問題を解決する。
• 完全計画（full-planning）に依存し、空間計算量が高くなる既存のモデルベースアルゴリズムの計算効率の低さを克服する。
• やや緩い解析的条件下でミニマックス最適なレジーットを達成する汎用的なアルゴリズムのテンプレートを構築する。
• 更新が疎で、レジーットバウンドに影響を与えることなく、完全にパラメータフリーにできるアルゴリズムを設計する。
• ゼロコストの状態行動対を含むSSP環境でも最適な性能を発揮できるようにする。これは、先行研究が完全に解決できていない課題である。

提案手法

• 理論的解析においてのみ有限ホライズンMDPに近似する、新たな分析フレームワーク「暗黙的有限ホライズン近似」を提案する。アルゴリズム実装には使用しない。
• 参照アドバンテージ分解と、価値関数の二重化に基づく経験的上界を用いて、パラメータフリーな動作を可能にするモデルフリーなアルゴリズム LCB-Advantage-SSP を設計する。
• 完全計画ではなく1ステップ計画を用いることで、時間計算量を削減し、1状態行動対あたり対数的更新を可能にするモデルベースのアルゴリズム SVI-SSP を開発する。
• 再帰的な分散バウンドを保証するため、SVI-SSP にベルンシュタインスタイルのボーナス項を組み込む。これにより、$c_{\min} = 0$ の場合でもミニマックス最適性が保証される。
• 両アルゴリズムが、暗黙的有限ホライズン近似フレームワークを活用して、解析において重要な構造的性質を満たすことで、ミニマックス最適なレジーットを達成する。
• 頻繁な参照価値の更新を伴う参照アドバンテージ分解を用いることで、サンプル複雑度を低減し、下位のレジーット項を改善する。

実験結果

リサーチクエスチョン

• RQ1 正のコストが保証される条件下で、ミニマックス最適なレジーットを達成するモデルフリーなSSPアルゴリズムを設計できるか？
• RQ2 一部の状態行動対にゼロコストがある場合でも、ミニマックス最適性を維持できるモデルベースのSSPアルゴリズムを開発できるか？
• RQ3 更新が疎で計画のオーバーヘッドが低減することで、モデルフリーおよびモデルベースのSSPアルゴリズムの計算効率を向上させられるか？
• RQ4 提案されたアルゴリズムを、レジーット性能を劣化させることなく、完全にパラメータフリーにできるか？
• RQ5 暗黙的有限ホライズン近似技術により、ホライズンに依存しないレジーットバウンドを達成できるか？ また、明示的なホライズンベース手法に見られる空間計算量の爆発を回避できるか？

主な発見

• LCB-Advantage-SSP は、$\tilde{\mathcal{O}}(B_{\star}\sqrt{SAK} + B_{\star}^{5}S^{2}A/c_{\min}^{4})$ のレジーットバウンドを達成し、$c_{\min} > 0$ の場合にミニマックス最適である。
• SVI-SSP は、$\tilde{\mathcal{O}}(B_{\star}\sqrt{SAK} + B_{\star}S^{2}A)$ のレジーットバウンドを達成し、$c_{\min} = 0$ の場合でも、Tarbouriech et al. (2021b) が得た最良の結果と一致する。
• LCB-Advantage-SSP と SVI-SSP は両方とも、$\tilde{\mathcal{O}}(SA)$ の空間計算量を達成し、既存のモデルベースアルゴリズムの $\Omega(S^2A)$ に比べて顕著に低い。
• SVI-SSP は1状態行動対あたり対数的更新しか行わず、1ステップ計画を用いるため、実験で比較されたすべてのアルゴリズムの中で最も計算効率が良い。
• 実験結果から、SVI-SSP はRandomMDPおよびGridWorld環境の両方で、EB-SSP や UC-SSP よりもレジーット性能と更新効率が優れており、合計更新時間が最も短いことが示された。
• Q-learningに$\epsilon$-greedy探索を適用した場合、線形レジーットを示し、SSP設定ではナーブな探索戦略が非効率であることが確認された。一方、LCB-Advantage-SSP と SVI-SSP は疎で効率的な更新により、優れた性能を発揮した。