[論文レビュー] State Aggregation Learning from Markov Transition Data

Yaqi Duan, Zheng Tracy Ke+1 more|arXiv (Cornell University)|Nov 6, 2018

Bayesian Modeling and Causal Inference参考文献 36被引用数 9

ひとこと要約

本稿では、特異値分解と特異ベクトルの凸包近似を用いて、マルコフ遷移データから確率的状態集約をデータ駆動で学習する2段階のアルゴリズムを提案する。モデルの同定可能性を確保するためのアンカーステートを導入し、集約／分散分布の推定およびアンカーステートの同定に関する鋭い統計的誤差バウンドを提供する。特異ベクトルの新たな要素別逸脱バウンドを用いた理論的保証がなされる。

ABSTRACT

State aggregation is a popular model reduction method rooted in optimal control. It reduces the complexity of engineering systems by mapping the system's states into a small number of meta-states. The choice of aggregation map often depends on the data analysts' knowledge and is largely ad hoc. In this paper, we propose a tractable algorithm that estimates the probabilistic aggregation map from the system's trajectory. We adopt a soft-aggregation model, where each meta-state has a signature raw state, called an anchor state. This model includes several common state aggregation models as special cases. Our proposed method is a simple two-step algorithm: The first step is spectral decomposition of empirical transition matrix, and the second step conducts a linear transformation of singular vectors to find their approximate convex hull. It outputs the aggregation distributions and disaggregation distributions for each meta-state in explicit forms, which are not obtainable by classical spectral methods. On the theoretical side, we prove sharp error bounds for estimating the aggregation and disaggregation distributions and for identifying anchor states. The analysis relies on a new entry-wise deviation bound for singular vectors of the empirical transition matrix of a Markov process, which is of independent interest and cannot be deduced from existing literature. The application of our method to Manhattan traffic data successfully generates a data-driven state aggregation map with nice interpretations.

研究の動機と目的

• ドメイン特有の知識や手動で選定された分割に依存せずに、原理的かつデータ駆動の状態集約マップを学習するための手法を開発すること。
• ソフト状態集約モデルの同定可能性を保証するため、トピックモデルにおけるアンカーワードに類似した概念としてのアンカーステートを導入すること。
• 古典的スペクトル法の制限を克服し、軌道データから集約および分散分布を明示的に推定すること。
• 推定精度およびアンカーステート回復に関する理論的誤差バウンドを提供すること。その依存関係は状態空間のサイズ、メタ状態の数、混合時間に依存する。
• マンハッタンのタクシー移動データへの応用を通じて、実用的有効性を示すこと。これにより、解釈可能で意味のあるメタ状態が得られる。

提案手法

• 経験的遷移行列のスペクトル分解を実行し、最初の r 個の左および右特異ベクトルを抽出する。
• 特異ベクトルに新しい線形変換を適用し、凸包近似を用いて集約および分散分布を推定する。
• 特異ベクトルの幾何的構造を活用して、推定された凸包の頂点としてアンカーステートを同定する。
• 変換された特異ベクトルを関数として明示的に定式化することで、集約および分散分布を直接推定可能にする。
• 経験的遷移行列の特異ベクトルに対する新たな要素別逸脱バウンドを活用し、統計的保証を導出する。
• 推定誤差およびアンカーステート回復のためのサンプル複雑度を評価する指標として、全変動距離を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前にメタ状態の知識がなくとも、マルコフ遷移データから確率的状態集約マップを学習可能か？
• RQ2 ハードパーティションが存在しない状況で、ソフト状態集約モデルの同定可能性をどのように確保できるか？
• RQ3 有限サンプルからの集約および分散分布の推定の統計的精度はどの程度か？
• RQ4 トラジェクトリの数と状態空間のサイズは、推定誤差およびアンカーステート回復にどのように影響するか？
• RQ5 本手法は、都市交通モデリングのような実世界の応用において、解釈可能で意味のあるメタ状態を生成可能か？

主な発見

• 提案手法は、集約および分散分布の推定において、全変動誤差バウンドが O(√(p/n)) のスケーリングを達成する。アンカーステートがより多いほど、精度が向上する。
• 特異ベクトルの推定誤差は n^(-1/2) のレートで減少し、理論的予測と一致しており、実験でも裏付けられた。
• 状態空間サイズ p およびメタ状態数 r に対して、十分に大きなトラジェクトリ数 n が得られれば、すべてのアンカーステートが高確率で回復可能である。
• マンハッタンのタクシー移動データへの応用において、推定された分散分布は意味のあるパターンを示しており、例えばニューヨークペインステーションやフェリーワテリウェイで出発または到着する移動の確率が高くなる傾向が明らかになった。
• 提案手法による推定遷移行列は、標準的なスペクトル推定器よりも全変動誤差が低く、加えて解釈可能な集約および分散分布を提供した。
• 経験的遷移行列の特異ベクトルに対する要素別逸脱バウンドは、本研究の新規貢献であり、理論的分析を可能にした。既存の文献からは導出できない。