[論文レビュー] Regret Bounds for Stochastic Shortest Path Problems with Linear Function Approximation

Daniel Vial, Advait Parulekar+2 more|arXiv (Cornell University)|May 4, 2021

Advanced Bandit Algorithms Research参考文献 27被引用数 4

ひとこと要約

本稿では、線形関数近似（LFA）を用いた確率的最短経路問題（SSP）に対する、統計的にかつ計算的に効率的な強化学習アルゴリズムを初めて提示する。静的方策を用いてサブ線形のリグレットを達成する。OAFPs（最適化された近似不動点）を導入し、仮定の種類に応じて $ olimits dots$ に比例するリグレットバウンドを提供する。最小限の条件、例えば正の最小コストと適切な方策の存在を含む。

ABSTRACT

We propose an algorithm that uses linear function approximation (LFA) for stochastic shortest path (SSP). Under minimal assumptions, it obtains sublinear regret, is computationally efficient, and uses stationary policies. To our knowledge, this is the first such algorithm in the LFA literature (for SSP or other formulations). Our algorithm is a special case of a more general one, which achieves regret square root in the number of episodes given access to a certain computation oracle.

研究の動機と目的

• 線形関数近似（LFA）における確率的最短経路（SSP）問題の分野で、効率的かつ静的方策を用いるアルゴリズムの不足を解消すること。
• 状態空間および行動空間のサイズに依存しないサブ線形リグレットを達成する計算的に効率的なアルゴリズムの開発。
• 正の最小コストや適切な方策の存在といった最小限の仮定のもとで、リグレットスケーリングの理論的保証の提供。
• 静的方策を用いることで、理論的効率性と実用的導入のギャップを埋めること。
• 有限時限のLFAに関する先行研究を、最小限の構造的仮定のもとで無限時限のSSP設定に拡張すること。

提案手法

• データ駆動型作用素 $\hat{G}_t$ に対する小さなベルヌーイ誤差を持つd次元ベクトルである、最適化された近似不動点（OAFPs）に基づく新規フレームワークを提案。
• OAFPを計算し方策を更新するオракルを用いるアルゴリズム1を設計。リグレット最小化をOAFP計算に還元。
• サブガウス型集中と行列集中不等式を用いて推定誤差をバウンドするための信頼集合の構築。
• LFA設定における最適な重みベクトル $w^\star$ の推定に、正則化付き最小二乗回帰と適応的特徴量重み付けを用いる。
• ネット被覆の議論と行列行列式のバウンドを活用し、特徴空間上の関数近似の複雑さを制御。
• OAFP計算の品質への還元を通じてリグレットバウンドを確立。オーケストラのアクセスにより、有利な条件下で $ olimits dots$ リグレットを達成可能。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似（LFA）を用いた確率的最短経路問題（SSP）に対して、統計的かつ計算的に効率的で、静的方策を用いるアルゴリズムを設計可能か？
• RQ2 正の最小コストや適切な方策の存在といった最小限の仮定のもとで、どの程度のリグレットスケーリングが達成可能か？
• RQ3 OAFPオーケストラの品質が、SSP設定における全体のリグレットバウンドにどのように影響するか？
• RQ4 時限の知識や非静的方策を必要とせずに、サブ線形リグレットを達成可能か？
• RQ5 特徴表現（例：直交性）にどのような条件下で $ olimits dots$ リグレットを達成可能か？

主な発見

• 特徴が特定の意味で直交する場合、仮定1～2のもとで、提案アルゴリズムは $ olimits dots$ リグレットを達成する。
• 仮定1～2のみを仮定した場合、リグレットは $K^{5/6}$ に比例し、先行研究に比べ顕著な改善を示す。
• すべての静的方策が適切である場合、リグレットバウンドは $K^{3/4}$ に改善され、方策構造が性能に与える影響を示す。
• 本アルゴリズムは、静的方策を用いるLFA設定におけるSSPで、統計的・計算的両効率性を達成する最初のアルゴリズムである。
• フレームワークはリグレット最小化をOAFP計算に還元し、本稿では提示されたリグレットバウンドを達成するオーケストラ実装を提供する。