[論文レビュー] On Learning Markov Chains

Hao Yi, Alon Orlitsky+1 more|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Algorithms被引用数 13

ひとこと要約

この論文は、n個の連続的サンプルからk状態のマルコフ連鎖を推定する際の、長年の未解決問題を解決し、k状態のマルコフ連鎖の推定におけるタイトなミニマックスリスクバウンドを確立した。KLダイバージェンスを用いた次状態の予測に関して、近似的に最良のバウンドを提供し、遷移確率がゼロから離れている場合の滑らかなf-ダイバージェンスにおける推定問題を解消した。

ABSTRACT

The problem of estimating an unknown discrete distribution from its samples is a fundamental tenet of statistical learning. Over the past decade, it attracted significant research effort and has been solved for a variety of divergence measures. Surprisingly, an equally important problem, estimating an unknown Markov chain from its samples, is still far from understood. We consider two problems related to the min-max risk (expected loss) of estimating an unknown k-state Markov chain from its n sequential samples: predicting the conditional distribution of the next sample with respect to the KL-divergence, and estimating the transition matrix with respect to a natural loss induced by KL or a more general f-divergence measure. For the first measure, we determine the min-max prediction risk to within a linear factor in the alphabet size, showing it is \Omega(k\log\log n/n) and O(k^2\log\log n/n). For the second, if the transition probabilities can be arbitrarily small, then only trivial uniform risk upper bounds can be derived. We therefore consider transition probabilities that are bounded away from zero, and resolve the problem for essentially all sufficiently smooth f-divergences, including KL-, L_2-, Chi-squared, Hellinger, and Alpha-divergences.

研究の動機と目的

• n個の連続的サンプルから未知のk状態マルコフ連鎖を推定する根本的な問題に取り組むこと。これは、分布推定分野における進展にもかかわらず、依然として十分に理解されていない。
• KLダイバージェンスを用いた次回のサンプルの条件付き分布を予測する際のミニマックス予測リスクを特定すること。
• 一般のf-ダイバージェンス測度の下で遷移行列の推定問題を解消すること、特に遷移確率がゼロから離れている場合に注目する。
• 予測および推定の両設定におけるリスクのタイトな上界および下界を提供し、先行研究におけるギャップを埋めること。

提案手法

• 著者らは、情報理論的手法を用いてミニマックスリスクを分析し、すべてのk状態マルコフ連鎖における最悪ケース期待損失に注目する。
• 下界を導出するために、KLダイバージェンスの構造とサンプル必要量の性質を悪用する敵対的マルコフ連鎖の構築を行う。
• 上界のためには、逐次的サンプリングモデルに適応された、精密な濃度バウンドを備えた経験的周波数推定に基づく新規な推定戦略を設計する。
• ダイバージェンスの滑らかさの性質を活用することで、一般のf-ダイバージェンスへの分析を拡張し、KL、L2、カイ二乗、ヘリンジャー、アルファ-ダイバージェンスの各々についての結果を得る。
• サンプルサイズnおよびアレッセットサイズkに依存する要因を洗練するために、対数および反復対数因子を分析に組み込む。
• 遷移確率がゼロから離れている場合、一様バウンドに比べて非自明なリスクバウンドが達成可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 KLダイバージェンスを用いた次状態の条件付き分布推定におけるミニマックス予測リスクは何か？また、kおよびnに対してどのようにスケーリングされるか？
• RQ2 遷移確率が任意に小さい場合に、遷移行列の推定に対して非自明なリスクバウンドを導出できるか？
• RQ3 KLやL2のような滑らかなf-ダイバージェンスの下で、遷移行列推定の最適収束速度は何か？
• RQ4 予測リスクの下界は、状態数kおよびサンプルサイズnに対してどのようにスケーリングされるか？
• RQ5 どのような条件下で、マルコフ連鎖における推定リスクに対してタイトな上界および下界を確立できるか？

主な発見

• KLダイバージェンス下での次状態予測におけるミニマックス予測リスクは、Ω(k log log n / n) から O(k² log log n / n) の間で有界であり、kに線形要因を除いて漸近的レートが解消された。
• 遷移確率がゼロから離れている場合、本論文はKL、L2、カイ二乗、ヘリンジャー、およびアルファ-ダイバージェンスを含む、すべての十分に滑らかなf-ダイバージェンスに対してタイトなリスクバウンドを確立した。
• 任意に小さい確率を持つ一般の遷移行列に対しては、リスクに対する一様な上界のみが得られ、下界仮定の必要性を示している。
• 分析により、状態数kへの依存が線形要因を除いてタイトであることが示され、kが増加するに従いマルコフ連鎖の学習の根本的な難易度が高まることを強調している。
• 結果は、サンプルの逐次的性質がリスク解析において慎重に取り扱う必要がある非自明な構造を導入することを示している。
• 本論文は、マルコフ連鎖の統計的学習理論における長年のギャップを閉じ、主要な推定問題について、最初にほぼ一致する上界および下界を提供した。