[論文レビュー] A Provably Efficient Algorithm for Linear Markov Decision Process with Low Switching Cost

Minbo Gao, Tianle Xie+2 more|arXiv (Cornell University)|Jan 2, 2021

Reinforcement Learning in Robotics参考文献 33被引用数 7

ひとこと要約

本稿では、低グローバルスイッチングコストを伴う線形マルコフ決定過程（MDP）に対する、初めての証明可能に効率的なアルゴリズムを提示する。レグレットバウンドは $\widetilde{O}(\sqrt{d^3H^4K})$ を達成し、グローバルスイッチングコストは $O(dH\log K)$ であり、既存の最良のレグレット性能を維持しながら、スイッチングコストを顕著に低減している。本手法は関数近似と適応的ポリシー更新を組み合わせ、ポリシー変更を最小限に抑えつつ、サンプル効率を維持する。

ABSTRACT

Many real-world applications, such as those in medical domains, recommendation systems, etc, can be formulated as large state space reinforcement learning problems with only a small budget of the number of policy changes, i.e., low switching cost. This paper focuses on the linear Markov Decision Process (MDP) recently studied in [Yang et al 2019, Jin et al 2020] where the linear function approximation is used for generalization on the large state space. We present the first algorithm for linear MDP with a low switching cost. Our algorithm achieves an $\widetilde{O}\left(\sqrt{d^3H^4K} ight)$ regret bound with a near-optimal $O\left(d H\log K ight)$ global switching cost where $d$ is the feature dimension, $H$ is the planning horizon and $K$ is the number of episodes the agent plays. Our regret bound matches the best existing polynomial algorithm by [Jin et al 2020] and our switching cost is exponentially smaller than theirs. When specialized to tabular MDP, our switching cost bound improves those in [Bai et al 2019, Zhang et al 20020]. We complement our positive result with an $Ω\left(dH/\log d ight)$ global switching cost lower bound for any no-regret algorithm.

研究の動機と目的

• 医療やシステム工学における現実世界の制約を踏まえ、大規模な状態空間問題に対して最小限のポリシー切り替えを実現する強化学習アルゴリズムの設計。
• 状態空間のスケーリングに劣るか、あるいはローカルスイッチングコストに焦点を当てた既存のアルゴリズムと比較して、グローバルスイッチングコストに焦点を当てたギャップを埋める。
• 低レグレットと低グローバルスイッチングコストの両立を実現する線形MDPの証明可能に効率的なアルゴリズムを提供すること。
• 線形MDPにおけるノーレグレットアルゴリズムのグローバルスイッチングコストの理論的下界を確立すること。

提案手法

• 高次元状態空間における一般化を可能にするために、線形関数近似を用いることで、大規模な状態空間環境における効率的学習を実現する。
• 信頼区間に基づく適応的探索戦略を採用し、探索と活用のバランスを保ちつつ、ポリシー変更を最小限に抑える。
• 推定された価値向上量がしきい値を超えた場合にのみポリシーを更新することで、グローバルポリシー切り替えの回数を削減する。
• 線形MDPの構造を活用して、レグレットとスイッチングコストを同時にバウンドするための新しい解析フレームワークを構築する。
• 動的かつ候補ポリシーの集合を維持し、信頼区間最適化された価値推定に基づいて最良のものを選択する。
• アルゴリズムは、ポリシー切り替え回数がエピソード数 $K$ に対して対数的にスケーリングされることを保証し、$O(dH\log K)$ となる。

実験結果

リサーチクエスチョン

• RQ1 線形MDPに対して、近似的に最適なレグレットを達成しながら、低グローバルスイッチングコストを実現する証明可能に効率的な強化学習アルゴリズムを設計できるか？
• RQ2 線形MDPにおける任意のノーレグレットアルゴリズムのグローバルスイッチングコストの根本的下界は何か？
• RQ3 本アルゴリズムのグローバルスイッチングコストは、ローカルスイッチングコストに焦点を当てた既存のアルゴリズムや、状態空間に伴いスケーリングが悪いアルゴリズムと比較してどうなるか？
• RQ4 グローバルスイッチングコストを $O(\log \log K)$ までさらに低減できるか？（これはバンドイット設定と一致する。）
• RQ5 計算的に効率的かつ近似的に最適なレグレットと低スイッチングコストを同時に達成することは可能か？

主な発見

• 提案アルゴリズムは、$\widetilde{O}(\sqrt{d^3H^4K})$ のレグレットバウンドを達成しており、Jinら（2019）による既存の最良の多項式時間アルゴリズムと同等の性能を示す。
• グローバルスイッチングコストは $O(dH\log K)$ であり、先行研究と比較して指数的に小さく、表計算MDPの結果よりも顕著に改善されている。
• 本アルゴリズムのスイッチングコストバウンドは、表計算MDPにおいて $O(SAH\log K)$ のグローバルスイッチングコストを示しており、既存の研究を上回る。
• 線形MDPにおけるグローバルスイッチングコストに対して、$\Omega(dH/\log d)$ の下界が確立された。これは、本アルゴリズムのスイッチングコストが対数的要因を除いてほぼ最適であることを示している。
• この下界は、RLにおける非自明なグローバルスイッチングコストの下界として初めてのものであり、従来のローカルスイッチングコストの下界よりも強く、より強いものである。
• 上界と下界の差は現在 $\log K \log d$ であり、スイッチングコストバウンドのさらなる改善の余地があることを示唆している。