[論文レビュー] Multiscale replay: A robust algorithm for stochastic variational inequalities with a Markovian buffer

Milind Nakul, Tianjiao Li+1 more|arXiv (Cornell University)|Jan 4, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

Multiscale Experience Replay (MER) アルゴリズムを、マルコフデータとメモリーボ bufferを用いた確率的変分不等式に対して導入し、チェーンのミキシング時間を知らなくても適応的にバッファサンプルをリプレイすることで収束を加速する。

ABSTRACT

We introduce the Multiscale Experience Replay (MER) algorithm for solving a class of stochastic variational inequalities (VIs) in settings where samples are generated from a Markov chain and we have access to a memory buffer to store them. Rather than uniformly sampling from the buffer, MER utilizes a multi-scale sampling scheme to emulate the behavior of VI algorithms designed for independent and identically distributed samples, overcoming bias in the de facto serial scheme and thereby accelerating convergence. Notably, unlike standard sample-skipping variants of serial algorithms, MER is robust in that it achieves this acceleration in iteration complexity whenever possible, and without requiring knowledge of the mixing time of the Markov chain. We also discuss applications of MER, particularly in policy evaluation with temporal difference learning and in training generalized linear models with dependent data.

研究の動機と目的

• マルコフ連鎖によって生成される依存データを含む確率的変分不等式（VI）の解法を動機づける。
• ミリースタートの情報を必要とせず、メモリーバッファ（経験リプレイ）を活用して収束を改善する。
• CTD法に似た反復複雑性を、事前の連鎖特性を仮定せずに適応的に加速するマルチスケールサンプリング手法を開発する。
• MER の理論的保証を提供し、初期エポックでの独立同分布風挙動のエミュレーションと、様々な応用での堅牢な性能を示す。
• MER を実践的な設定（強化学習における方策評価や一般化線形モデル）へ適用し、収束速度を示す。

提案手法

• メモリーバッファを用い、エポック間で再生ギャップを減衰させる MER アルゴリズムを提案する。
• エポックは k のとき、再生ギャップ tau_k = B / 2^k を分離したサンプルを用い、更新回数を T_k = 2^k とする。
• 各反復で、サンプル xi_{t tau_k} を用いた確率的近似ステップで更新し、使用済みサンプルを新しいものに置換してバッファを最新に保つ。
• マルコフデータによる確率的オペレータのバイアスを含む標準 VI 仮定の下で、理論的な収束フレームワークを提供する。
• 再生ギャップが有効なミキシング時間を超えると MER が i.i.d.-風挙動を模倣できることを示し、再生ギャップとミキシングの関係を定性的に定量化する。
• MER はマルコフ連鎖のミキシング時間の明示的な知識を必要とせず、加速を達成できることを示す。

Figure 1: A schematic diagram showing the progression of error with the number of iterations when $T$ is the number of available samples. The blue curve represents the result of running the serial stochastic approximation algorithm, which we label as TD. The red curve represents the CTD algorithm (K

実験結果

リサーチクエスチョン

• RQ1 MER はマルコフデータを含む確率的 VI に対してミキシング時間を知らなくても反復複雑性を加速できるか。
• RQ2 依存データが存在する状況で、メモリーバッファからのサンプル選択は収束を最適化するためにどう設計すべきか。
• RQ3 初期エポックで MER は i.i.d.-風挙動をエミュレートするか、どの条件下でこのエミュレーションが保証されるか。
• RQ4 確率的誤差スケーリングとバイアス制御を含む MER の理論的収束保証は何か。
• RQ5 RL の方策評価や一般化線形モデルのような実問題にも MER の改善は適用可能で、ミキシング時間に依存しないのか。

主な発見

• MER はミキシング時間知識を必要とせず、最適にギャップをスキップした CTD に匹敵する反復複雑性境界をもつ。
• 再生ギャップが有効なミキシング時間を超える初期エポックにおいて、MER は i.i.d.-like 挙動をエミュレートし、MER の誤差と i.i.d. アナログの関係を両側境界で定量化する。
• バッファサイズと再生ギャップが特定の関係を満たすと、確率的誤差項は有利にスケールし、適切なパラメータ設定で i.i.d. サンプル性能に近づく。
• マルコフノイズを伴う一般化強単調性を持つ VI に対する解析を含み、マルコフデータ由来のバイアスが制御可能である条件を提供する。
• 一般化線形モデルと RL の方策評価への適用は、最先端の保証と競合する収束速度を示しつつ、ミキシング時間には依存しないことを示す。
• MER はマルコフ連鎖特性の正確な知識に依存せず、再生ギャップをエポックごとに適応的に調整することで頑健性を実現する。