[論文レビュー] Batch Stationary Distribution Estimation

Junfeng Wen, Bo Dai+2 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Queuing Theory Analysis参考文献 50被引用数 12

ひとこと要約

本稿では、基礎となるプロセスやプローブ分布へのアクセスがなく、固定バッチの遷移データのみを用いて、定常分布を推定するための変分パワー法（VPM）を提案する。VPMは、変分定式化を用いて定常分布とプローブ分布の比を一貫して推定し、キューイングシステム、SDE、MCMC、オフポリシー評価におけるデータの高精度な後処理を可能にする。既存手法に比べ顕著な改善が得られる。

ABSTRACT

We consider the problem of approximating the stationary distribution of an ergodic Markov chain given a set of sampled transitions. Classical simulation-based approaches assume access to the underlying process so that trajectories of sufficient length can be gathered to approximate stationary sampling. Instead, we consider an alternative setting where a fixed set of transitions has been collected beforehand, by a separate, possibly unknown procedure. The goal is still to estimate properties of the stationary distribution, but without additional access to the underlying system. We propose a consistent estimator that is based on recovering a correction ratio function over the given data. In particular, we develop a variational power method (VPM) that provides provably consistent estimates under general conditions. In addition to unifying a number of existing approaches from different subfields, we also find that VPM yields significantly better estimates across a range of problems, including queueing, stochastic differential equations, post-processing MCMC, and off-policy evaluation.

研究の動機と目的

• 基礎となるプロセスやプローブ分布の知識がなく、固定バッチの遷移データのみが利用可能な状況において、定常分布の性質を推定する課題に対処すること。
• 事前収集済みのデータから遷移ペアのみを用いて、モデルフリーで一貫性のある推定器を構築し、定常分布を回復すること。
• キューイングシステム、確率微分方程式、MCMCの後処理、オフポリシー評価における既存手法を統合・改善すること。
• 行動ポリシーのデータから状態行動ペアの定常分布を推定することで、強化学習における行動に依存しないオフポリシー評価を可能にすること。

提案手法

• 定常分布推定のための元来のパワー反復法における扱いにくい関数的演算を回避するため、パワー法の変分的再定式化を提案する。
• 変分最適化目的関数を用いて、定常分布とプローブ分布の比関数 τ(x) ≈ μ(x)/p(x) を推定する。
• ニューラルネットワークや関数近似器を用いて比関数 τ(x) を表現し、マルコフ連鎖の不動点条件を満たすように変分的目的関数で訓練する。
• 収集済み状態の経験的分布に学習済み比関数を重み付けすることで、定常分布の一貫した推定値を導出する。
• 2段階のプロセスを採用：まず補正比を推定し、次にそれを用いて定常測度下での期待値を計算する。
• モデルベース手法で一般的に見られる崩壊問題を回避するため、遷移カーネルをモデル化せずに比関数を直接学習する。

実験結果

リサーチクエスチョン

• RQ1 追加のデータ収集やプローブ分布の知識がなく、固定バッチの遷移データのみから、定常分布のための一貫性のある推定器を構築可能か？
• RQ2 遷移作用素が未知で関数的演算が扱いにくいバッチ・アーギノスティックな設定において、パワー法をどのように適合可能にするか？
• RQ3 提案手法の変分パワー法が、キューイングシステム、SDE、MCMC、オフポリシー評価において、既存手法に比べてどの程度推定精度を向上させるか？
• RQ4 プローブ分布が不明で、任意のサンプリングメカニズムで収集されたデータに対しても、VPMアプローチはロバストで一貫性を保つか？
• RQ5 行動ポリシーの遷移データのみから、状態行動ペアの定常分布を推定することで、VPMは行動に依存しないオフポリシー評価を達成可能か？

主な発見

• VPMは、キューイング、SDE、MCMCを含むすべてのテストドメインにおいて、モデルベースのベースラインやインポートランスサンプリング手法に比べ、顕著に優れた定常分布推定を達成する。
• MCMCの後処理において、VPMは、異なるMCMCステップにおいても、推定済みサンプルと真のサンプルとの最大平均差分（MMD）を一貫して低減し、再サンプリングデータの質を向上させる。
• オフポリシー評価において、VPMは、Liuら（2018）の行動に依存しない手法や重み付きインポートランスサンプリングを含むすべてのベースラインを上回り、Taxi、Reacher、HalfCheetah、Ant環境でログMSEが低くなる。
• モデルベース手法で一般的に見られるデータ崩壊問題を回避するため、遷移カーネルをモデル化せず比関数を直接学習することで、推定された定常分布の多様性と正確性を維持する。
• 実験的結果から、MMDおよびMSEの両面で複数のデータセットおよび設定において一貫した改善が得られ、VPMのロバスト性と一般化性能が示される。
• 理論的分析により、プローブ分布や遷移カーネルの知識がなくても、一般条件下でVPMが定常分布の証明可能な一貫性のある推定を提供することが確認された。