[论文解读] Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms

Guy Bresler, Prateek Jain+3 more|arXiv (Cornell University)|Jun 16, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用 6

一句话总结

本文建立了马尔可夫数据下最小二乘回归的根本极限，表明其最小最大误差率相比独立同分布（i.i.d.）数据固有地差一个混合时间 τ_mix 的因子。本文提出了一种新颖的经验回放算法（SGD-ER），显著优于标准SGD和基线算法SGD-DD（后者仅处理每𝒪(τ_mix)个样本中的一个），首次为结构化马尔可夫设置中经验回放的有效性提供了理论依据。

ABSTRACT

We study the problem of least squares linear regression where the data-points are dependent and are sampled from a Markov chain. We establish sharp information theoretic minimax lower bounds for this problem in terms of $τ_{\mathsf{mix}}$, the mixing time of the underlying Markov chain, under different noise settings. Our results establish that in general, optimization with Markovian data is strictly harder than optimization with independent data and a trivial algorithm (SGD-DD) that works with only one in every $ ildeΘ(τ_{\mathsf{mix}})$ samples, which are approximately independent, is minimax optimal. In fact, it is strictly better than the popular Stochastic Gradient Descent (SGD) method with constant step-size which is otherwise minimax optimal in the regression with independent data setting. Beyond a worst case analysis, we investigate whether structured datasets seen in practice such as Gaussian auto-regressive dynamics can admit more efficient optimization schemes. Surprisingly, even in this specific and natural setting, Stochastic Gradient Descent (SGD) with constant step-size is still no better than SGD-DD. Instead, we propose an algorithm based on experience replay--a popular reinforcement learning technique--that achieves a significantly better error rate. Our improved rate serves as one of the first results where an algorithm outperforms SGD-DD on an interesting Markov chain and also provides one of the first theoretical analyses to support the use of experience replay in practice.

研究动机与目标

• 建立当数据由马尔可夫链生成时，最小二乘回归的信息论最小最大下界。
• 在马尔可夫依赖存在的情况下，比较常步长标准随机梯度下降（SGD）与数据丢弃基线（SGD-DD）的性能。
• 研究结构化马尔可夫链（如高斯自回归过程）是否能实现比平凡SGD-DD方法更高效的优化。
• 提供非独立同分布马尔可夫设置下经验回放的首次理论分析，证明其在误差率上的优越性。

提出的方法

• 以混合时间 τ_mix 表示，推导出尖锐的最小最大下界，表明误差率相比i.i.d.数据固有地差一个 τ_mix 因子。
• 提出SGD-DD，一种简单算法，仅从每𝒪(τ_mix)个样本的块中处理一个样本，以近似恢复i.i.d.行为。
• 引入SGD-ER，即SGD的一种变体，通过存储并随机采样过去梯度实现经验回放，以降低方差并改善马尔可夫依赖下的收敛性。
• 在独立与相关噪声下分析SGD与SGD-ER的收敛性，利用类似鞅的论证推导估计误差的递归界。
• 以高斯自回归马尔可夫链为具体模型，证明即使在结构化设置下，SGD也未能优于SGD-DD，但SGD-ER可以。
• 采用对权重更新中期望平方误差的递归分析，利用集中不等式与混合时间性质，界定估计误差衰减率。

实验结果

研究问题

• RQ1 当训练数据由马尔可夫链生成时，最小二乘回归的根本信息论极限是什么？
• RQ2 在马尔可夫数据设置下，常步长标准SGD的性能与数据丢弃基线SGD-DD相比如何？
• RQ3 结构化马尔可夫链（如高斯自回归过程）是否能支持优于SGD-DD的优化算法？
• RQ4 在马尔可夫数据背景下，经验回放是否能为SGD和SGD-DD提供可证明的优势？

主要发现

• 马尔可夫数据下最小二乘回归的最小最大误差率相比i.i.i.d.情况被下界限制为差一个 τ_mix 因子，且该界是紧的。
• 简单的SGD-DD算法通过丢弃大部分样本以实现近似独立性，是极小极大最优的，且严格优于常步长标准SGD。
• 即使在结构化的高斯自回归马尔可夫链设置下，标准SGD也未能优于SGD-DD，表明SGD对马尔可夫数据并非极小极大最优。
• 所提出的基于经验回放的SGD-ER算法，其误差率显著优于SGD和SGD-DD，标志着在非平凡马尔可夫设置下首次实现对SGD-DD的可证明改进。
• 该分析为强化学习中经验回放的广泛经验成功提供了首个理论解释，尤其适用于具有依赖数据的深度强化学习设置。
• 达到 ϵ-精度所需的样本数为 Ω(d/ϵ²)，且在推导的误差率下该界是紧的，证实了所提方法的最优性。