[論文レビュー] Optimal and instance-dependent guarantees for Markovian linear stochastic approximation

Wenlong Mou, Ashwin Pananjady+2 more|arXiv (Cornell University)|Dec 23, 2021

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿は、マルコフ連鎖サンプリング下での線形確率的近似に対して、最適でインスタンス依存の非漸近的誤差バウンドを確立する。Polyak–Ruppert平均化が次元$d$および混合時間$t_{\mathrm{mix}}$の鋭い依存関係を有するミニマックス最適誤差を達成することを証明し、TD($\lambda$)および線形自己回帰モデルに対してもインスタンス最適性の保証を提供する。

ABSTRACT

We study stochastic approximation procedures for approximately solving a $d$-dimensional linear fixed point equation based on observing a trajectory of length $n$ from an ergodic Markov chain. We first exhibit a non-asymptotic bound of the order $t_{\mathrm{mix}} frac{d}{n}$ on the squared error of the last iterate of a standard scheme, where $t_{\mathrm{mix}}$ is a mixing time. We then prove a non-asymptotic instance-dependent bound on a suitably averaged sequence of iterates, with a leading term that matches the local asymptotic minimax limit, including sharp dependence on the parameters $(d, t_{\mathrm{mix}})$ in the higher order terms. We complement these upper bounds with a non-asymptotic minimax lower bound that establishes the instance-optimality of the averaged SA estimator. We derive corollaries of these results for policy evaluation with Markov noise -- covering the TD($λ$) family of algorithms for all $λ\in [0, 1)$ -- and linear autoregressive models. Our instance-dependent characterizations open the door to the design of fine-grained model selection procedures for hyperparameter tuning (e.g., choosing the value of $λ$ when running the TD($λ$) algorithm).

研究の動機と目的

• マルコフ連鎖データ下での線形確率的近似に対する非漸近的・インスタンス依存の誤差バウンドを提供し、問題固有の難易度を捉える。
• Polyak–Ruppert平均化推定量の統計的最適性を、一致するミニマックス下界の証明により確立する。
• マルコフノイズ下でのTD($\lambda$)および線形自己回帰モデルによる価値評価のための鋭い有限サンプル保証を導出する。
• インスタンス依存の性能特徴付けを用いて、ハイパーパrameter（例：TD($\lambda$)における$\lambda$）の微細なモデル選択を可能にする。
• 混合時間$t_{\mathrm{mix}}$および次元$d$への依存性を改善した収束レートを達成する、マルコフ連鎖SAの解析のためのブートストラップ的議論を構築する。

提案手法

• 定常ステップサイズ$\eta$を用いた標準的な確率的近似スキームを分析し、$\theta_{t+1} = (1-\eta)\theta_t + \eta(L_{t+1}\theta_t - b_{t+1})$と更新する。
• 反復値にPolyak–Ruppert平均化を適用し、バーニング期間$n_0$を用いて$\widehat{\theta}_n = \frac{1}{n-n_0}\sum_{t=n_0}^{n-1} \theta_t$を定義する。
• 平均化推定量の二乗誤差に対する非漸近的上界を導出し、主要項が局所的漸近ミニマックス極限と一致することを示す。
• マルコフ連鎖の依存構造と混合時間$t_{\mathrm{mix}}$の下で誤差伝播を制御するための新規なブートストラップ的議論を用いる。
• 与えられたマルコフ連鎖インスタンスの近傍において非漸近的局所ミニマックス下界を確立し、インスタンス最適性を証明する。
• 結果をTD($\lambda$)（$\lambda \in [0,1)$）および線形自己回帰モデルに適用し、$O(t_{\mathrm{mix}}d)$の最適なサンプル複雑度を示す。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖サンプリング下での線形確率的近似の最適非漸近的誤差レートは何か？ また、$d$および$t_{\mathrm{mix}}$にどのように依存するか？
• RQ2 Polyak–Ruppert平均化推定量は、問題固有パrameterに依存する誤差の観点からインスタンス最適な性能を達成できるか？
• RQ3 TD($\lambda$)および線形自己回帰モデルの誤差バウンドは、$\lambda$、$d$、$t_{\mathrm{mix}}$にどのようにスケーリングされるか？
• RQ4 提案された推定量は有限サンプルにおいてミニマックス最適か？ これは非漸近的下界によって証明可能か？
• RQ5 インスタンス依存の保証は、ストリーミングデータ下での価値評価における適応的ハイパーパrameter選択（例：$\lambda$）を可能にするか？

主な発見

• 標準的SAの最終反復の二乗誤差は、非漸近的設定において$O(t_{\mathrm{mix}} \frac{d}{n})$で有界である。
• Polyak–Ruppert平均化推定量は、局所的漸近ミニマックス極限と一致する主要項を持つインスタンス依存誤差バウンドを達成する。
• 上界には、問題固有の難易度を反映する高次項として、$d$および$t_{\mathrm{mix}}$の鋭い依存関係が含まれる。
• 非漸近的ミニマックス下界が確立され、平均化推定量がインスタンス最適であることが証明された。
• 結果から、マルコフ連鎖サンプリング下での線形固定点方程式の解法に$O(t_{\mathrm{mix}} d)$の最適なサンプル複雑度が得られると示唆される。
• TD($\lambda$)および線形自己回帰モデルに対するコロナリーが導出され、これらの設定において提案されたバウンドがタイトであることが示された。