[論文レビュー] Provable Offline Reinforcement Learning for Structured Cyclic MDPs

Kyungbok Lee, Angelica Cristello Sarteau+1 more|arXiv (Cornell University)|Feb 12, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

CycleFQIを導入。サイクルMDPの段階特異的ダイナミクスを持つオフラインRL手法で、有限サンプル保証とBesov正則性収束速度を提供し、ポリシー値の部分的最適化と推論を可能にする。

ABSTRACT

We introduce a novel cyclic Markov decision process (MDP) framework for multi-step decision problems with heterogeneous stage-specific dynamics, transitions, and discount factors across the cycle. In this setting, offline learning is challenging: optimizing a policy at any stage shifts the state distributions of subsequent stages, propagating mismatch across the cycle. To address this, we propose a modular structural framework that decomposes the cyclic process into stage-wise sub-problems. While generally applicable, we instantiate this principle as CycleFQI, an extension of fitted Q-iteration enabling theoretical analysis and interpretation. It uses a vector of stage-specific Q-functions, tailored to each stage, to capture within-stage sequences and transitions between stages. This modular design enables partial control, allowing some stages to be optimized while others follow predefined policies. We establish finite-sample suboptimality error bounds and derive global convergence rates under Besov regularity, demonstrating that CycleFQI mitigates the curse of dimensionality compared to monolithic baselines. Additionally, we propose a sieve-based method for asymptotic inference of optimal policy values under a margin condition. Experiments on simulated and real-world Type 1 Diabetes data sets demonstrate CycleFQI's effectiveness.

研究の動機と目的

• 異種で段階特異的なダイナミクスと割引を持つサイクルMDPフレームワークを動機付け・形式化する。
• CycleFQIを開発し、サイクルを段階別のサブ問題に分解するオフライン適合Q-反復拡張を提供する。
• Besov正則性の下でサイクル設定に対する有限サンプルのサブ最適性境界と収束速度を提供する。
• 構造的分解がモノリシックなベースラインと比較して次元の呪いを緩和することを示す。
• 合成データと実データ（Ⅰ型糖尿病）で実証的有効性を示す。

提案手法

• K段階を持つサイクルMDPを定義し、段階特異的ダイナミクス、報酬、遷移、割引を設定する。
• 段階特異的Q関数のベクトルと、更新集合Uを介して部分ポリシー最適化を可能にする結合ベルマン演算子を導入する。
• FQIをCycleFQIに拡張し、各反復内で段階ごとに独立して最小二乗適合を行えるようにする。
• サイクルベルマン演算子の有限サンプルサブ最適性境界とH-step収束性を導出する。
• Besov正則性に基づく収束速度を確立し、近似関数を有限次元に絞るセイブ法的推定アプローチを提示する。
• 分解ベースのCycleFQIを、平坦な結合状態アプローチと比較して次元の呪いの影響が小さくなることを示す。

実験結果

リサーチクエスチョン

• RQ1 段階異種のダイナミクスと段階依存割引を持つ多段階サイクリック意思決定問題をどうモデル化するか。
• RQ2 サイクルMDPにおいて、特定の段階の部分最適化と他の段階の固定ポリシーを許容しつつオフライン学習を実行できるか。
• RQ3 Besov正則性の下でCycleFQIに対する有限サンプル保証と収束速度をどのように確立できるか。
• RQ4 モジュール化された段階別分解はモノリシックで平坦化されたベースラインと比較して次元の呪いを緩和するか。
• RQ5 このサイクリックなオフライン設定で最適ポリシー値の統計的推定をどのように行うか。

主な発見

• CycleFQIは、段階ごとのサンプルサイズと近似誤差に依存する有限サンプルのサブ最適性境界を提示し、収束はサイクル割引因子によって支配される。
• Besov正則性の下で、CycleFQIはグローバルなレートが総サイクルの複雑さではなく最悪の段階レートによって決まるノンパラメトリックな収束レートを達成する。
• サイクルベルマン演算子の収縮特性により、更新集合制約下で固有の不動点と安定した学習が保証される。
• Besovベースの分析は、B-スプライン、ウェーブレット、RBF、ReLU-DNN、Transformersなど広範な関数クラスをサポートし、明確な近似べき指数を提供する。
• 合成データと実データのⅠ型糖尿病データセットで、CycleFQIがサイクル依存性を捉え、部分ポリシー最適化をサポートする能力を検証する。