[論文レビュー] Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality

Jiawei Huang, Jing‐Lin Chen+4 more|arXiv (Cornell University)|Feb 14, 2022

Age of Information Optimization被引用数 4

ひとこと要約

本稿は、展開回数 $K$ を最小化しつつ、各展開で大規模バッチの軌道を収集する条件の下、展開効率的強化学習（DE-RL）を制約付き最適化問題として形式化する。決定的方策と一般方策のそれぞれに対して、情報理論的下界 $\Omega(dH)$ および $\widetilde{\Omega}(H)$ を確立し、これらの下界を達成するアルゴリズムを提案することで、有限時限の線形MDPにおける最適な展開効率を実証する。

ABSTRACT

Deployment efficiency is an important criterion for many real-world applications of reinforcement learning (RL). Despite the community's increasing interest, there lacks a formal theoretical formulation for the problem. In this paper, we propose such a formulation for deployment-efficient RL (DE-RL) from an "optimization with constraints" perspective: we are interested in exploring an MDP and obtaining a near-optimal policy within minimal \emph{deployment complexity}, whereas in each deployment the policy can sample a large batch of data. Using finite-horizon linear MDPs as a concrete structural model, we reveal the fundamental limit in achieving deployment efficiency by establishing information-theoretic lower bounds, and provide algorithms that achieve the optimal deployment efficiency. Moreover, our formulation for DE-RL is flexible and can serve as a building block for other practically relevant settings; we give "Safe DE-RL" and "Sample-Efficient DE-RL" as two examples, which may be worth future investigation.

研究の動機と目的

• 強化学習における展開効率を、大バッチサンプリングの下で展開回数 $K$ を最小化する制約付き最適化問題として形式化すること。
• 有限時限線形MDPにおける情報理論的下界を用いて、展開効率の根本的限界を同定すること。
• 決定的方策および一般方策の両方の展開設定において、最適な展開複雑度を達成するアルゴリズムを設計すること。
• 安全DE-RLおよびサンプル効率的DE-RLといった実用的変種へDE-RLフレームワークを拡張すること。

提案手法

• 展開回数 $K$ を最小化するDE-RLを、(a) $K$ 回の展開後に $\varepsilon$-最適方策を出力すること、および (b) 各展開で問題パラメータの多項式に比例する $N$ 個の軌道を収集することという制約の下で定式化する。
• 下界の導出とアルゴリズム設計のため、有限時限線形MDPを構造的モデルとして用いる。
• 最小二乗価値反復に報酬ボーナスと段階別探索を組み合わせた決定的方策アルゴリズムを提案し、$O(dH)$ の展開回数を達成する。
• 解析のための技術的道具として、楕円型ポテンシャル補題の新規なバッチ版有限標本バージョンを導入する。
• 単調な方策改善制約を満たすために、否定的（pessimistic）および肯定的（optimistic）なオフラインアルゴリズムを組み合わせた混合方策戦略を提案する。
• 安全DE-RLへの拡張は、方策改善制約 $J(\pi_{i+1}) \geq J(\pi_i) - \varepsilon$ を用いることで実現し、サンプル効率的DE-RLへの拡張は $N$ の上限を設けることで行う。

実験結果

リサーチクエスチョン

• RQ1 DE-RLにおいて $\varepsilon$-最適性を達成するために必要な展開回数の根本的下界は何か？
• RQ2 情報理論的下界に達する展開複雑度を達成するアルゴリズムを設計できるか？
• RQ3 決定的方策のみを展開するという制約が、展開効率の限界に与える影響は何か？
• RQ4 $N$ が有界である場合、展開効率とサンプル効率のトレードオフは何か？
• RQ5 単調な方策改善といった安全制約をDE-RLフレームワークに統合する方法は何か？

主な発見

• 本稿は、有限時限線形MDPにおいて、決定的方策のみを展開するアルゴリズムに対して、展開複雑度のタイトな $\Omega(dH)$ 下界を確立した。
• 一般方策展開の場合は下界が $\widetilde{\Omega}(H)$ に下がり、制限のない方策でもホライズン依存性が根本的であることを示した。
• 決定的方策展開のための提案アルゴリズムは $O(dH)$ の展開回数を達成し、下界と一致するため、最適性が証明された。
• 新規なバッチ版有限標本バージョンの楕円型ポテンシャル補題（補題4.2）を証明し、提案アルゴリズムの解析を可能にした。
• 安全DE-RLにおける混合方策戦略は、否定的および肯定的方策のバランスを取ることで、高確率で単調な方策改善を保証した。
• フレームワークはサンプル効率的DE-RLへも拡張可能であり、$K$ と $N_0$ のトレードオフは未解決の問題のまま残っている。