[논문 리뷰] Batch Stationary Distribution Estimation

Junfeng Wen, Bo Dai외 2명|arXiv (Cornell University)|2020. 03. 02.

Advanced Queuing Theory Analysis참고 문헌 50인용 수 12

한 줄 요약

이 논문은 기저 과정이나 프로브 분포에 대한 접근이 불가능한 상황에서 고정된 전이 데이터 배치를 사용하여 비어 있는 마르코프 체인의 정적 분포를 추정하기 위한 변분 전력 방법(VPM)을 제안한다. VPM은 변분 공식을 통해 정적 분포와 프로브 분포 간의 비율을 일관되게 추정하며, 큐잉 시스템, 확률적 미분 방정식(SDE), MCMC 및 오프-정책 평가에서 데이터의 정확한 후처리를 가능하게 하여 기존 방법들에 비해 뚜렷한 향상을 이룬다.

ABSTRACT

We consider the problem of approximating the stationary distribution of an ergodic Markov chain given a set of sampled transitions. Classical simulation-based approaches assume access to the underlying process so that trajectories of sufficient length can be gathered to approximate stationary sampling. Instead, we consider an alternative setting where a fixed set of transitions has been collected beforehand, by a separate, possibly unknown procedure. The goal is still to estimate properties of the stationary distribution, but without additional access to the underlying system. We propose a consistent estimator that is based on recovering a correction ratio function over the given data. In particular, we develop a variational power method (VPM) that provides provably consistent estimates under general conditions. In addition to unifying a number of existing approaches from different subfields, we also find that VPM yields significantly better estimates across a range of problems, including queueing, stochastic differential equations, post-processing MCMC, and off-policy evaluation.

연구 동기 및 목표

• 기저 과정이나 프로브 분포에 대한 정보가 없이 고정된 전이 데이터 배치만 제공되는 상황에서 정적 분포 성질을 추정하는 문제를 다루는 것.
• 사전에 수집된 데이터에서 전이 쌍만을 사용하여 모델에 종속되지 않은 일관된 추정기로 정적 분포를 복원하는 것.
• 큐잉 시스템, 확률적 미분 방정식, MCMC 후처리 및 오프-정책 평가 분야에서 기존 접근법을 통합하고 개선하는 것.
• 행동 정책 데이터로부터 상태-행동 분포의 정적 분포를 추정함으로써 행동에 무관한 오프-정책 평가를 가능하게 하는 것.

제안 방법

• 정적 분포 추정을 위한 원래 전력 반복에서의 비가역적 기능 연산을 피하기 위해 전력 방법의 변분 재구성하기.
• 정적 분포와 프로브 분포 간의 비율 함수 τ(x) ≈ μ(x)/p(x)를 변분 최적화 목표를 통해 추정하기.
• 비율 함수 τ(x)를 신경망 또는 함수 근사기로 표현하고, 마르코프 체인의 고정점 조건을 강제하는 변분 목표를 통해 훈련하기.
• 수집된 상태의 경험적 분포를 재가중하여 정적 분포의 일관된 추정치를 도출하기.
• 두 단계 과정을 적용: 첫째, 보정 비율 추정; 둘째, 이를 사용해 정적 측도 하에서 기대값 계산하기.
• 모델 기반 방법에서 흔히 발생하는 붕괴 문제를 피하기 위해 전이 커널을 모델링하지 않고 비율 함수를 직접 학습함으로써

실험 결과

연구 질문

• RQ1 추가 데이터 수집이나 프로브 분포에 대한 지식 없이 고정된 전이 데이터 배치에서 정적 분포에 대한 일관된 추정기를 구성할 수 있는가?
• RQ2 전이 연산자가 알려져 있지 않고 기능 연산이 비가역적인 배치 및 무관 설정에서 전력 방법을 어떻게 적응시킬 수 있는가?
• RQ3 제안된 변분 전력 방법이 큐잉 시스템, SDE, MCMC 및 오프-정책 평가에서 기존 방법들에 비해 추정 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 프로브 분포가 알려져 있지 않고 데이터가 임의의 샘플링 메커니즘으로 수집된 상황에서도 VPM 접근법이 강건하고 일관된가?
• RQ5 행동 정책 전이 데이터만으로도 행동에 무관한 오프-정책 평가를 달성할 수 있는가?

주요 결과

• VPM은 큐잉, SDE 및 MCMC를 포함한 모든 테스트 도메인에서 모델 기반 기준선 및 중요도 샘플링 방법보다 유의미하게 더 우수한 정적 분포 추정치를 달성한다.
• MCMC 후처리에서 VPM은 다양한 MCMC 단계에서 추정된 샘플과 진짜 샘플 간의 최대 평균 차이(MMD)를 일관되게 감소시켜 재표본화된 데이터의 품질을 향상시킨다.
• 오프-정책 평가에서 VPM은 Liu 등(2018)의 행동에 무관한 방법과 중요도 샘플링 기반 방법을 포함한 모든 기준선을 능가하며, Taxi, Reacher, HalfCheetah 및 Ant 환경에서 로그 MSE가 낮게 기록된다.
• 모델 기반 접근법에서 흔히 발생하는 데이터 붕괴 문제를 피하기 위해 비율 함수를 직접 학습함으로써 정적 분포 추정치의 다양성과 정확도를 유지한다.
• 실험 결과는 다양한 데이터셋과 설정에서 MMD 및 MSE 모두에서 일관된 향상이 나타나 VPM의 강건성과 일반화 능력을 입증한다.
• 이론적 분석을 통해 VPM은 프로브 분포나 전이 커널에 대한 지식 없이도 일반 조건 하에서 정적 분포에 대해 증명 가능한 일관성 있는 추정치를 제공함을 확인한다.