[论文解读] Learning Markov models via low-rank optimization

Ziwei Zhu, Xudong Li+2 more|arXiv (Cornell University)|Jun 28, 2019

Sparse and Compressive Sensing Techniques参考文献 62被引用 4

一句话总结

本文提出了一种用于学习马尔可夫模型的低秩优化框架，通过构建一个鲁棒的中间估计器 $\widehat{\mathbf{P}}_{\eta}$ 实现，该估计器自适应地在经验估计器 $\widehat{\mathbf{P}}$ 和真实转移矩阵 $\mathbf{P}$ 之间插值。关键贡献是获得了 $O\left(\left(\frac{r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}\right)$ 阶的非渐近 Frobenius 范数误差界，证明了在低秩结构和稀疏性假设下的最优统计速率。

ABSTRACT

Modeling unknown systems from data is a precursor of system optimization and sequential decision making. In this paper, we focus on learning a Markov model from a single trajectory of states. Suppose that the transition model has a small rank despite of having a large state space, meaning that the system admits a low-dimensional latent structure. We show that one can estimate the full transition model accurately using a trajectory of length that is proportional to the total number of states. We propose two maximum likelihood estimation methods: a convex approach with nuclear-norm regularization and a nonconvex approach with rank constraint. We explicitly derive the statistical rates of both estimators in terms of the Kullback-Leiber divergence and the $\ell_2$ error and also establish a minimax lower bound to assess the tightness of these rates. For computing the nonconvex estimator, we develop a novel DC (difference of convex function) programming algorithm that starts with the convex M-estimator and then successively refines the solution till convergence. Empirical experiments demonstrate consistent superiority of the nonconvex estimator over the convex one.

研究动机与目标

• 在低秩和稀疏性约束下，开发一种统计最优的马尔可夫转移矩阵学习方法。
• 解决当状态数 $p$ 相对于样本量 $n$ 较大时，马尔可夫模型中高维估计的挑战。
• 通过引入一个鲁棒的中间估计器 $\widehat{\mathbf{P}}_{\eta}$，该估计器能自适应地适应未知的误差大小，从而提高估计精度。
• 在最小假设下，推导估计误差 Frobenius 范数的非渐近误差界。
• 通过与已知的 minimax 下界比较，建立所提方法的最优性。

提出的方法

• 引入中间估计器 $\widehat{\mathbf{P}}_{\eta} = \mathbf{P} + \eta(\widehat{\mathbf{P}} - \mathbf{P})$，其中 $\eta$ 依据阈值 $R$ 选择，用于截断估计误差。
• 利用受限强凸性和梯度控制论证，通过对偶范数和核范数正则化来界估计误差。
• 采用基于投影的分析方法，利用法锥 $\Pi_N(\nabla L_n(\mathbf{P}))$ 控制损失差中的次梯度项。
• 建立一系列不等式，将损失差与误差的核范数联系起来，最终通过低秩结构界住 Frobenius 范数。
• 推导出一个临界阈值 $R_0 = \frac{C_4 \beta^2}{\alpha^2} \left(\frac{\xi r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}$，确保误差保持在期望范围内。
• 借助 Zhang (2018) 的结果，将 Frobenius 误差与 Kullback-Leibler 散度关联，确认了统计一致性。

实验结果

研究问题

• RQ1 低秩优化框架是否能在高维设置下实现马尔可夫转移矩阵估计的最优速率？
• RQ2 如何通过自适应的中间估计器 $\widehat{\mathbf{P}}_{\eta}$ 提升对大估计误差的鲁棒性，而无需事先知道真实误差的大小？
• RQ3 在实现 minimax 最优误差速率时，样本量 $n$、维度 $p$、秩 $r$ 和稀疏性 $\pi_{\max}$ 之间存在何种最优权衡？
• RQ4 在低秩约束下，核范数正则化在多大程度上能提升估计精度？
• RQ5 所提方法是否达到了马尔可夫模型估计的已知 minimax 下界？

主要发现

• Frobenius 范数误差 $\|\widehat{\mathbf{P}} - \mathbf{P}\|_F$ 以高概率被界为 $O\left(\left(\frac{r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}\right)$，与 minimax 最优速率一致。
• 中间估计器 $\widehat{\mathbf{P}}_{\eta}$ 确保估计误差保持在阈值 $R_0$ 内，从而实现对误差范数的紧密控制。
• 该方法在低秩和稀疏转移矩阵假设下实现了最优统计性能，即使在 $p \gg n$ 的情况下亦然。
• 估计模型与真实模型之间的 Kullback-Leibler 散度被相同的速率所界，从信息论角度确认了一致性。
• 所推导的阈值 $R_0$ 在常数意义下具有普适性，且依赖于问题的内在复杂度：秩 $r$、稀疏性 $\pi_{\max}$ 和样本量 $n$。
• 分析结果表明，核范数正则化能有效促进低秩结构，从而在高维设置下提升估计精度。