[論文レビュー] Minimax Testing of Identity to a Reference Ergodic Markov Chain

Geoffrey Wolfer, Aryeh Kontorovich|arXiv (Cornell University)|Jan 31, 2019

Markov Chains and Monte Carlo Methods参考文献 22被引用数 5

ひとこと要約

本稿では、1つの長い軌道からのみ、未知のマルコフ連鎖が既知の参考となる正定常マルコフ連鎖と同一であるか、またはε-遠く離れているかを効率的に検出するための最小最大検定手順を提示する。サンプル複雑性は、参考連鎖の定常分布と混合時間にのみ依存し、Õ(1/π⋆ ⋅ max{√d/ε², t_mix})というほぼ最適な境界を達成しており、下界とも一致する。未知の連鎖にあらゆる仮定は必要としない。

ABSTRACT

We exhibit an efficient procedure for testing, based on a single long state sequence, whether an unknown Markov chain is identical to or $\varepsilon$-far from a given reference chain. We obtain nearly matching (up to logarithmic factors) upper and lower sample complexity bounds for our notion of distance, which is based on total variation. Perhaps surprisingly, we discover that the sample complexity depends solely on the properties of the known reference chain and does not involve the unknown chain at all, which is not even assumed to be ergodic.

研究の動機と目的

• 未知のマルコフ連鎖が既知の参考となる正定常マルコフ連鎖と同一であるかを検出する最小最大検定手順の開発。
• 未知連鎖が正定常でないことも許容するマルコフ連鎖設定下での全変動距離のタイトなサンプル複雑性境界の確立。
• サンプル複雑性が参考連鎖の最小定常確率π⋆と混合時間t_mixにのみ依存することの示唆。
• 効率的な検定アルゴリズムと一致する情報理論的下界の両方の提供。
• 提案された全変動距離に基づく距離と従来の擬似距離（例：Dist√(·,·)）との関係を比較し、優位性と還元可能性を示すこと。

提案手法

• 未知連鎖からの1つの長い軌道を用い、その経験的遷移確率を既知の参考連鎖のものと比較する。
• 各状態の遷移分布に独立同一分布の同一性テスト（例：ValiantとValiant, 2017）を適用する、状態別仮説検定に基づく手順。
• 参考連鎖の定常分布π⋆と混合時間t_mixを用いた、独自の新たな解析によってサンプル複雑性を導出する。
• √d/π⋆を、max_i {π(i)⁻¹ ‖M̄(i,·)‖₂/₃} に置き換えるインスタンス固有の境界が導入され、これは√d/π⋆よりも著しく小さくなる可能性がある。
• 主な指標として遷移分布間の全変動距離を用い、すべての状態にわたる一様な境界を確保する。
• 上界によるサンプルサイズの必要量の理論的保証と、最悪ケースの下界が、それぞれの設定で一致することを確立する。

実験結果

リサーチクエスチョン

• RQ1 未知のマルコフ連鎖が既知の参考となる正定常連鎖と全変動距離で一致するかどうかを検出するための最適なサンプル複雑性は何か？
• RQ2 サンプル複雑性は、参考連鎖の構造的性質（特に定常分布と混合時間）にどのように依存するか？
• RQ3 サンプル複雑性は、未知連鎖の性質（正定常性や既約性を含む）に依存しない可能性があるか？
• RQ4 提案された全変動距離に基づく距離と、従来のDist√(·,·)のような擬似距離との関係は何か？
• RQ5 導出されたサンプル複雑性の上界と下界はほぼタイトであり、どのような設定で一致するか？

主な発見

• サンプル複雑性は Õ(1/π⋆ ⋅ max{√d/ε², t_mix}) であり、ほぼ最適で、参考連鎖の性質にのみ依存する。
• 未知連鎖が正定常である必要も、そもそも既約である必要さえもなく、d状態である限り、あらゆる仮定は不要である。
• インスタンス固有の境界により、√d/π⋆が max_i {π(i)⁻¹ ‖M̄(i,·)‖₂/₃} に置き換えられ、これは√d/π⋆よりも著しく小さくなる可能性がある。
• Ω(dt_mix)とΩ(√d/(π⋆ε²))の2つの下界が確立され、上界が特定の設定で改善不能であることが示された。
• 提案された距離はDist√(·,·)擬似距離を支配しており、Dist√(·,·)に基づく同一性検定は、新しい度合いでの検定に2倍のε損失を伴って還元可能である。
• 全テストの時間計算量は O(d(d + m)) であり、mはサンプルサイズである。この方法は計算的にも効率的である。