[論文レビュー] Spectral State Compression of Markov Processes

Anru R. Zhang, Mengdi Wang|arXiv (Cornell University)|Feb 8, 2018

Fault Detection and Control Systems参考文献 63被引用数 3

ひとこと要約

本稿では、遷移行列の低ランク近似を用いて有限状態のマルコフ連鎖の状態圧縮を実現するスペクトル的手法を提案する。スペクトル分解を活用して主要な特徴部分空間を推定し、状態集約やlumpable分割のような隠れ構造を回復する。有限サンプル条件下で遷移行列推定および部分空間回復に関するミニマックス最適な統計的保証を確立する。

ABSTRACT

Model reduction of Markov processes is a basic problem in modeling state-transition systems. Motivated by the state aggregation approach rooted in control theory, we study the statistical state compression of a discrete-state Markov chain from empirical trajectories. Through the lens of spectral decomposition, we study the rank and features of Markov processes, as well as properties like representability, aggregability, and lumpability. We develop spectral methods for estimating the transition matrix of a low-rank Markov model, estimating the leading subspace spanned by Markov features, and recovering latent structures like state aggregation and lumpable partition of the state space. We prove statistical upper bounds for the estimation errors and nearly matching minimax lower bounds. Numerical studies are performed on synthetic data and a dataset of New York City taxi trips.

研究の動機と目的

• スペクトル分解を用いて、教師なしでデータ駆動型に大規模な離散状態マルコフ連鎖を圧縮する手法を開発すること。
• メタ状態やパーティショニングに関する事前知識なしに、経路からの実証的推定によって遷移カーネルの低ランク構造を推定すること。
• 有限サンプル設定下での遷移行列推定および部分空間回復に関する鋭い統計的保証（上界および下界）を提供すること。
• 統計的信頼性を伴って、状態集約やlumpableパーティションのような隠れ構造を回復すること。
• スペクトル解析によるマルコフ過程の分析を通じて、集約可能性、lumpability、低ランク分解の概念を統合すること。

提案手法

• 本手法は、遷移行列のスペクトル分解を用い、それをランク1成分の和として表現する：$\mathbb{P}(X_{t+1}|X_t) \approx \sum_{k=1}^r f_k(X_t)g_k(X_{t+1})$、ここで$f_k$および$g_k$は特徴関数である。
• 経路からの標本共分散推定を用いて、遷移行列の主要な左および右特異ベクトルが張る$r$次元部分空間を推定する。
• 経験的遷移行列に対してスペクトル切断手順を適用し、全変動誤差を最小化する低ランク近似を取得する。
• 推定バイアスと分散を制御するため、混合時間および定常分布の仮定を組み込む。
• フレドマンの不等式を用いて、経験的特徴行列の推定誤差に対する高確率集中限界を導出する。
• 理論的分析により、スペクトル特性と集約可能性・lumpabilityといった構造的概念を結びつけ、隠れパーティションの回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 有限長の経路から、鋭い統計的誤差限界を伴ってマルコフ遷移行列の低ランク構造を推定できるか？
• RQ2 真のランクが未知である場合、スペクトル手法はマルコフ過程の主要特徴部分空間をどの程度正確に回復できるか？
• RQ3 経験的データから低ランクマルコフモデルを推定する際のミニマックス最適レートは何か？
• RQ4 どのような条件下でスペクトル手法は、統計的信頼性を伴って状態集約またはlumpableパーティションを回復できるか？
• RQ5 スペクトル分解および特異ベクトル推定は、マルコフ連鎖における集約可能性およびlumpabilityの概念とどのように関係するか？

主な発見

• 提案手法は、高確率で全変動誤差に対して上界$O\left(\sqrt{\frac{\pi_{\max} \delta^2 r \tau_* \log^2 n}{np}}\right)$を達成する。
• ほぼ一致するミニマックス下界が確立され、与えられたモデル仮定下で本手法の統計的最適性が裏付けられる。
• 一般のマルコフ連鎖に対して、本手法は高確率で主要なマルコフ特徴部分空間を$O\left(\sqrt{\frac{\pi_{\max} \delta^2 r \tau_* \log^2 n}{np}}\right)$の誤差で回復する。
• 集約可能またはlumpableプロセスの場合、本手法は下位の状態パーティションを統計的整合性の保証とともに回復できる。
• 理論的結果は、合成データおよびニューヨーク市からの実際のタクシー移動経路データを用いて数値的に検証され、正確な低ランク近似および構造回復を示している。
• 本手法は推定誤差においてミニマックス最適性を達成しており、同じ仮定下で他のいかなる手法よりも優れた有限サンプル性能を達成できないことが確認された。