[論文レビュー] Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms

Guy Bresler, Prateek Jain+3 more|arXiv (Cornell University)|Jun 16, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用数 6

ひとこと要約

この論文は、マーカフ連鎖に従うデータに対する最小二乗回帰の根本的限界を確立し、i.i.d. データと比較して、ミニマックス誤差率が混合時間 τ_mix の要因によって本質的に悪化することを示している。本稿では、経験再生に基づく新規アルゴリズム（SGD-ER）を提案し、標準的な SGD や、1回に1回のサンプルしか処理しない基準手法 SGD-DD よりも顕著に優れている。SGD-DD は τ_mix のオーダーに1回のサンプルしか処理しない。本稿は、構造的マーカフ連鎖設定における経験再生の使用に対する理論的裏付けを初めて提供する。

ABSTRACT

We study the problem of least squares linear regression where the data-points are dependent and are sampled from a Markov chain. We establish sharp information theoretic minimax lower bounds for this problem in terms of $τ_{\mathsf{mix}}$, the mixing time of the underlying Markov chain, under different noise settings. Our results establish that in general, optimization with Markovian data is strictly harder than optimization with independent data and a trivial algorithm (SGD-DD) that works with only one in every $ ildeΘ(τ_{\mathsf{mix}})$ samples, which are approximately independent, is minimax optimal. In fact, it is strictly better than the popular Stochastic Gradient Descent (SGD) method with constant step-size which is otherwise minimax optimal in the regression with independent data setting. Beyond a worst case analysis, we investigate whether structured datasets seen in practice such as Gaussian auto-regressive dynamics can admit more efficient optimization schemes. Surprisingly, even in this specific and natural setting, Stochastic Gradient Descent (SGD) with constant step-size is still no better than SGD-DD. Instead, we propose an algorithm based on experience replay--a popular reinforcement learning technique--that achieves a significantly better error rate. Our improved rate serves as one of the first results where an algorithm outperforms SGD-DD on an interesting Markov chain and also provides one of the first theoretical analyses to support the use of experience replay in practice.

研究の動機と目的

• 訓練データがマルコフ連鎖によって生成される場合の最小二乗回帰に対する情報理論的ミニマックス下界を確立すること。
• 定常ステップサイズを用いた標準的確率的勾配降下法（SGD）と、データを飛ばすベースライン手法（SGD-DD）の性能を、マーカフ連鎖的依存性が存在する状況で比較すること。
• ガウス過程に従う自己回帰的マーカフ連鎖のような構造的マーカフ連鎖が、単純な SGD-DD 法よりも効率的な最適化を可能にするかを検討すること。
• 非 i.i.d. マーカフ連鎖設定における経験再生の理論的分析を提供し、誤差率の観点でその優位性を示すこと。

提案手法

• 混合時間 τ_mix を用いて鋭いミニマックス下界を導出し、i.i.d. データと比較して誤差率が本質的に τ_mix の要因だけ悪化することを示している。
• SGD-DD を提案する。これは、τ_mix のオーダーの各ブロックから1つのサンプルのみを処理することで、近似的に i.i.d. の挙動を回復する単純なアルゴリズムである。
• 経験再生（過去の勾配を保存し、ランダムにサンプリングする）を用いる SGD の変種である SGD-ER を導入し、マーカフ連鎖的依存性下での分散低減と収束性の向上を図っている。
• 独立および相関のあるノイズ下での SGD と SGD-ER の収束性を分析し、マルティングル型の議論を用いて推定誤差の再帰的境界を導出している。
• ガウス自己回帰的マーカフ連鎖を具体的なモデルとして用い、構造的設定下でも、標準的 SGD が SGD-DD を上回らないが、SGD-ER は上回ることを示している。
• 重み更新における期待二乗誤差の再帰的分析を用い、集中不等式と混合時間の性質を活用して、推定誤差の減衰率の境界を導出している。

実験結果

リサーチクエスチョン

• RQ1 訓練データがマルコフ連鎖によって生成される場合、最小二乗回帰の根本的限界（情報理論的）は何か？
• RQ2 定常ステップサイズを用いた標準的 SGD の性能は、マーカフ連鎖的データ環境下で、データを飛ばすベースライン手法 SGD-DD よりも劣るのか？
• RQ3 ガウス自己回帰的マーカフ連鎖のような構造的マーカフ連鎖は、SGD-DD よりも優れた最適化アルゴリズムを許容するか？
• RQ4 経験再生は、マーカフ連鎖的データの文脈において、SGD や SGD-DD よりも明確な利点を提供するのか？

主な発見

• マーカフ連鎖に従うデータに対する最小二乗回帰のミニマックス誤差率は、i.i.d. の場合と比較して τ_mix の要因だけ悪化しており、この下界はタイトである。
• 多くのサンプルを破棄することで近似的に独立性を回復する単純な SGD-DD アルゴリズムは、ミニマックス的に最適であり、定常ステップサイズを用いた標準的 SGD よりも厳密に優れている。
• ガウス自己回帰的マーカフ連鎖という構造的設定下でも、標準的 SGD は SGD-DD を上回らないことが示され、SGD がマーカフ連鎖的データに対してミニマックス的に最適でないことが示された。
• 経験再生に基づく提案された SGD-ER アルゴリズムは、SGD や SGD-DD よりも顕著に優れた誤差率を達成しており、非自明なマーカフ連鎖設定下で SGD-DD を上回る初めての理論的改善アルゴリズムである。
• 本分析により、強化学習、特に依存データを扱う深層強化学習の文脈で広く経験的に成功している経験再生の使用に対する理論的裏付けを初めて提供する。
• ϵ-精度を達成するためのサンプル数は Ω(d/ϵ²) であり、導出された誤差率に基づいてこの境界はタイトである。これにより、提案手法の最適性が確認された。