[論文レビュー] Testing Symmetric Markov Chains from a Single Trajectory

Constantinos Daskalakis, Nishanth Dikkala+1 more|arXiv (Cornell University)|Apr 22, 2017

Machine Learning and Algorithms被引用数 11

ひとこと要約

この論文は、1つの軌道からのみ利用可能な場合の対称マルコフ連鎖の同一性をテストするための新しいフレームワークを導入する。全変動距離の軌道間におけるスケーリングに基づく、差の新しい概念を提案し、有効なテスト手法と、対数要因を除いてタイトな標本複雑度の境界を提示する。$\tilde{O}(\text{HitT}_Q \times \text{polylog}(\text{HitT}_Q) + n/\varepsilon)$ の標本が十分であることが示され、特定の条件下で下界 $\tilde{\theta}(n/\varepsilon)$ が一致する。

ABSTRACT

Classical distribution testing assumes access to i.i.d. samples from the distribution that is being tested. We initiate the study of Markov chain testing, assuming access to a single trajectory of a Markov Chain. In particular, we observe a single trajectory X0,...,Xt,... of an unknown, symmetric, and finite state Markov Chain M. We do not control the starting state X0, and we cannot restart the chain. Given our single trajectory, the goal is to test whether M is identical to a model Markov Chain M0 , or far from it under an appropriate notion of difference. We propose a measure of difference between two Markov chains, motivated by the early work of Kazakos [Kaz78], which captures the scaling behavior of the total variation distance between trajectories sampled from the Markov chains as the length of these trajectories grows. We provide efficient testers and information-theoretic lower bounds for testing identity of symmetric Markov chains under our proposed measure of difference, which are tight up to logarithmic factors if the hitting times of the model chain M0 is O(n) in the size of the state space n.

研究の動機と目的

• 単一の再起動不能な軌道しか入手できない状況におけるマルコフ連鎖同一性テストの課題に対処すること。
• 最悪の初期状態において識別不能性を捉える意味のあるマルコフ連鎖間の差の概念を定義すること。
• この新しいフレームワーク下での効率的なテストアルゴリズムと情報理論的下界を確立すること。
• 特に到達時間と連鎖構造との関係において、対称マルコフ連鎖の同一性テストの標本複雑度を分析すること。
• 将来的な二標本テスト、凸結合、時間集約連鎖に関する研究の基盤を築くこと。

提案手法

• 連鎖の軌道分布間の全変動距離の漸近的スケーリングに基づく、マルコフ連鎖間の新しい距離測度を提案する。
• 連鎖の遷移行列から導かれる行列の固有ギャップを用いた距離のスペクトル的特徴付けを用いる。
• 異なるパrameter設定下でのモデル間の統計的距離を、軌道語における集中と衝突解析によって制限する。
• 確率的議論とマルコフの不等式を用いて、語生成と衝突数の還元により下界を導出する。
• 敵対的連鎖をシミュレートするための遷移行列の明示的分布を構築し、特定の条件下で識別不能性を証明する。
• 上界と下界の両方をフレームワークを用いて導出し、上界が対数要因を除いてタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 単一の軌道しか入手できない場合の、対称マルコフ連鎖の同一性テストにおける最適な標本複雑度は何か？
• RQ2 モデル連鎖の到達時間は、同一性テストの標本複雑度にどのように影響するか？
• RQ3 提案された距離測度は、最悪の初期状態における1つの軌道からの識別不能性を捉えることができるか？
• RQ4 連鎖間の距離は、それらの $k$ ステップ遷移行列間の距離とどのように関係するか？
• RQ5 このフレームワークは、二標本テストや連鎖の凸結合へと拡張可能か？

主な発見

• 提案された距離測度は、軌道間の全変動距離の漸近的スケーリングを捉えており、1つの軌道観測下でも意味のある差の概念を可能にする。
• 標本複雑度 $\tilde{O}(\text{HitT}_Q \times \text{polylog}(\text{HitT}_Q) + n/\varepsilon)$ の効率的同一性テストが設計され、$\text{HitT}_Q = \tilde{O}(n)$ のとき、下界と対数要因を除いて一致する。
• 標本複雑度に対する下界 $\tilde{\theta}(n/\varepsilon)$ が確立され、到達時間仮定の下で $n/\varepsilon$ 項がタイトであることが示された。
• フレームワークは、同じ定常分布だが異なる遷移構造を持つ連鎖が、初期状態が共通の通信クラス内にある場合には、1つの軌道からでは識別不能である可能性を示している。
• 衝突回数がモデルの区別に使えることが分析で示され、タイプIおよびタイプIIの衝突が重要な統計的差を提供する。
• 論文は、上界における到達時間依存性が取り除ける可能性があると予想し、$\tilde{\theta}(n/\varepsilon)$ が真の標本複雑度であると示唆している。