[論文レビュー] Learning Markov models via low-rank optimization

Ziwei Zhu, Xudong Li+2 more|arXiv (Cornell University)|Jun 28, 2019

Sparse and Compressive Sensing Techniques参考文献 62被引用数 4

ひとこと要約

本稿は、経験的推定子 $\widehat{\mathbf{P}}$ と真の遷移行列 $\mathbf{P}$ の間を適応的に補間するロバストな中間推定子 $\widehat{\mathbf{P}}_{\eta}$ を構築することにより、低ランク最適化フレームワークを提案する。主な貢献は、低ランク構造とスパarsity仮定の下で、非漸近的フロベニウスノルム誤差バウンド $O\left(\left(\frac{r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}\right)$ を確立したことである。

ABSTRACT

Modeling unknown systems from data is a precursor of system optimization and sequential decision making. In this paper, we focus on learning a Markov model from a single trajectory of states. Suppose that the transition model has a small rank despite of having a large state space, meaning that the system admits a low-dimensional latent structure. We show that one can estimate the full transition model accurately using a trajectory of length that is proportional to the total number of states. We propose two maximum likelihood estimation methods: a convex approach with nuclear-norm regularization and a nonconvex approach with rank constraint. We explicitly derive the statistical rates of both estimators in terms of the Kullback-Leiber divergence and the $\ell_2$ error and also establish a minimax lower bound to assess the tightness of these rates. For computing the nonconvex estimator, we develop a novel DC (difference of convex function) programming algorithm that starts with the convex M-estimator and then successively refines the solution till convergence. Empirical experiments demonstrate consistent superiority of the nonconvex estimator over the convex one.

研究の動機と目的

• 低ランクおよびスパarsity制約下で、マルコフ遷移行列の推定に統計的に最適な手法を開発すること。
• 状態数 $p$ が標本サイズ $n$ よりも大きい高次元推定の課題に対処すること。
• 未知の誤差サイズに適応するロバストな中間推定子 $\widehat{\mathbf{P}}_{\eta}$ を導入することで、推定精度を向上させること。
• 最小仮定の下で、推定誤差のフロベニウスノルムに対する非漸近的誤差バウンドを導出すること。
• 既知のミニマックス下界との比較を通じて、提案手法の最適性を確立すること。

提案手法

• 閾値 $R$ に基づいて推定誤差を切り詰めるように選ばれる $\eta$ を用いて、中間推定子 $\widehat{\mathbf{P}}_{\eta} = \mathbf{P} + \eta(\widehat{\mathbf{P}} - \mathbf{P})$ を導入する。
• 推定誤差を双対ノルムと核ノルム正則化を用いて制御するため、制限された強い凸性および勾配制御の議論を用いる。
• 損失差における部分勾配項を制御するため、正射影に基づく解析を用い、正規円錐 $\Pi_N(\nabla L_n(\mathbf{P}))$ を用いる。
• 損失差から誤差の核ノルムへの連鎖的不等式を確立し、最終的に低ランク構造を介してフロベニウスノルムをバウンドする。
• 誤差が所定のバウンド内に保たれるように保証するための臨界閾値 $R_0 = \frac{C_4 \beta^2}{\alpha^2} \left(\frac{\xi r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}$ を導出する。
• Zhang (2018) の結果を活用して、フロベニウス誤差とカルバック・ライブララー発散の関係を確立し、情報理論的観点から統計的一致性を確認する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、低ランク最適化フレームワークは、マルコフ遷移行列の推定に最適な推定レートを達成できるか？
• RQ2 真の誤差サイズを事前に知らない状況でも、適応的中間推定子 $\widehat{\mathbf{P}}_{\eta}$ は、大きな推定誤差に対してロバスト性を向上させられるか？
• RQ3 標本サイズ $n$、次元 $p$、ランク $r$、スパarsity $\pi_{\max}$ の間で、ミニマックス最適誤差率を達成するための最適なトレードオフは何か？
• RQ4 低ランク制約下で、核ノルム正則化は推定精度をどの程度向上させるか？
• RQ5 提案手法は、マルコフモデル推定における既知のミニマックス下界に達しているか？

主な発見

• フロベニウスノルム誤差 $\|\widehat{\mathbf{P}} - \mathbf{P}\|_F$ は、高確率で $O\left(\left(\frac{r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}\right)$ にバウンドされ、ミニマックス最適レートと一致する。
• 中間推定子 $\widehat{\mathbf{P}}_{\eta}$ は、推定誤差が $R_0$ の閾値内に保たれることを保証し、誤差ノルムのきびしい制御を可能にする。
• $p \gg n$ の場合でも、低ランクおよびスパース遷移行列の仮定の下で、本手法は最適な統計的性能を達成する。
• 推定モデルと真のモデルの間のカルバック・ライブララー発散は、同じレートでバウンドされ、情報理論的観点から一貫性が確認される。
• 導出された閾値 $R_0$ は定数因子を除き普遍的であり、ランク $r$、スパarsity $\pi_{\max}$、標本サイズ $n$ といった問題の内生的複雑性に依存する。
• 解析により、核ノルム正則化が低ランク構造を効果的に促進し、高次元設定下で推定精度を向上させることを確認した。