[논문 리뷰] Multiscale replay: A robust algorithm for stochastic variational inequalities with a Markovian buffer

Milind Nakul, Tianjiao Li외 1명|arXiv (Cornell University)|2026. 01. 04.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

다중 스케일 경험 재생(MER) 알고리즘을 Markovian 데이터와 메모리 버퍼를 갖춘 확률적 변분 부등식에 도입하고, 체의 혼합 시간에 대한 지식 없이 버퍼 샘플을 적응적으로 재생하여 수렴 속도를 높입니다.

ABSTRACT

We introduce the Multiscale Experience Replay (MER) algorithm for solving a class of stochastic variational inequalities (VIs) in settings where samples are generated from a Markov chain and we have access to a memory buffer to store them. Rather than uniformly sampling from the buffer, MER utilizes a multi-scale sampling scheme to emulate the behavior of VI algorithms designed for independent and identically distributed samples, overcoming bias in the de facto serial scheme and thereby accelerating convergence. Notably, unlike standard sample-skipping variants of serial algorithms, MER is robust in that it achieves this acceleration in iteration complexity whenever possible, and without requiring knowledge of the mixing time of the Markov chain. We also discuss applications of MER, particularly in policy evaluation with temporal difference learning and in training generalized linear models with dependent data.

연구 동기 및 목표

• Markov 체에 의해 생성된 의존 데이터를 갖는 확률적 변분 부등식(VIs)을 해결하는 동기를 부여한다.
• 혼합 시간 정보를 필요로 하지 않으면서 수렴을 향상시키기 위해 메모리 버퍼(경험 재생)를 활용한다.
• CTD 방법과 유사하게 반복 복잡도를 가속시키되 사전에 체의 특성 없이 적응적으로 스케일링하는 다중 스케일 샘플링 체계를 개발한다.
• MER에 대한 이론적 보장을 제공하며, 초기 에폭에서 i.i.d.-유사 동작의 모방 및 다양한 응용에서의 강건한 성능을 포함한다.
• MER을 RL의 정책 평가나 일반화 선형 모델과 같은 실용적 설정에 적용하여 수렴 속도를 시연한다.

제안 방법

• 메모리 버퍼를 사용하고 에폭 간 재생 간격 tau_k = B / 2^k를 감소시키며 버퍼를 갱신하는 다중 스케일 경험 재생(MER) 알고리즘을 제안한다.
• 에폭은 k에서 에폭 내부에서 재생 간격 tau_k를 사용하고 T_k = 2^k 단계로 업데이트한다.
• 각 반복에서 강화된 샘플 xi_{t tau_k}를 사용한 확률적 근사 단계를 통해 업데이트하고 사용된 샘플을 새 샘플로 교체하여 버퍼를 최신 상태로 유지한다.
• Markovian 데이터로 인한 확률적 편향을 가진 표준 VI 가정 하에서 이론적 수렴 프레임워크를 제공한다.
• MER가 재생 간격이 유효한 혼합 시간보다 커지면 i.i.d.-유사 동작을 모방할 수 있음을 보이고, 재생 간격과 혼합 시간에 따른 확률적 오차의 스케일링을 정량화한다.
• MER이 가속을 달성하기 위해 Markov 체의 혼합 시간에 대한 명시적 지식을 필요로하지 않음을 보여준다.

Figure 1: A schematic diagram showing the progression of error with the number of iterations when $T$ is the number of available samples. The blue curve represents the result of running the serial stochastic approximation algorithm, which we label as TD. The red curve represents the CTD algorithm (K

실험 결과

연구 질문

• RQ1 MER가 혼합 시간의 지식 없이 Markovian 데이터와 함께하는 확률적 VI에 대해 가속된 반복 복잡도를 달성할 수 있는가?
• RQ2 의존 데이터가 존재하는 상황에서 수렴을 최적화하기 위해 메모리 버퍼에서 샘플을 어떻게 선택해야 하는가?
• RQ3 MER은 초기 에폭에서 i.i.d.-유사 동작을 모방하는가, 그리고 이 모방이 보장되는 조건은 무엇인가?
• RQ4 확률적 오차의 스케일링과 바이어스 제어를 포함한 MER의 이론적 수렴 보장은 무엇인가?
• RQ5 RL의 정책 평가나 일반화 선형 모델과 같은 실용적 문제에 MER의 개선이 확장되어 혼합 시간에 대한 지식 없이도 성능이 향상되는가?

주요 결과

• MER은 혼합 시간 지식이 필요하지 않으면서 최적의 건너뛰기를 가진 CTD와 비교 가능한 가속을 나타내는 반복 복잡도 한계를 제공한다.
• MER은 재생 간격이 유효한 혼합 시간보다 클 때 초기 에폭에서 i.i.d.-유사 동작을 모방하며 MER 오차를 i.i.d. 유사분석과 관련된 양방향 경계로 이론적으로 제시한다.
• 버퍼 크기와 재생 간격이 특정 관계를 충족할 때 확률적 오차 항이 유리하게 스케일링되며 적절한 매개변수 설정에서 i.i.d. 샘플 성능에 근접한다.
• Markovian 노이즈를 갖는 일반화된 강 단조성 VIs에 대한 해석은 Markovian 데이터로 인한 바이어스가 제어 가능한 조건을 제공한다.
• 일반화 선형 모델과 RL의 정책 평가에 대한 응용은 수렴 속도를 현 수준의 보장과 경쟁하며 혼합 시간에 독립적임을 보여준다.
• MER은 Markov 체의 특성에 대한 정확한 지식에서 벗어나 가속을 달성하고 에폭 간 재생 간격을 적응적으로 조정하여 강건성을 확보한다.