[論文レビュー] Prediction with a Short Memory

Vatsal Sharan, Sham M. Kakade+2 more|arXiv (Cornell University)|Dec 8, 2016

Machine Learning and Algorithms参考文献 48被引用数 7

ひとこと要約

本稿では、一般の確率過程の広いクラスに対して、未来の観測値を正確に予測するには、短い記憶量で十分であることを示している。具体的には、過去と未来の間の相互情報量を表す $ I $ を用いて、$ O(I/\epsilon) $ 個の最新観測値のみを用いることで、$ \epsilon $-誤差の期待KLダイバージェンスを達成できる。情報理論的かつ計算上の下界を厳密に確立し、$ n $ 隠れ状態をもつ隠れマルコフモデル（HMM）では、$ \epsilon $-誤差を達成するための窓長さが $ \Theta(\log n / \epsilon) $ であることが必要かつ十分であることを証明している。また、任意の実行可能アルゴリズムが、そのようなモデルを推定するには $ d^{\Theta(\log n / \epsilon)} $ 個のサンプルが必要であることを示している。

ABSTRACT

We consider the problem of predicting the next observation given a sequence of past observations, and consider the extent to which accurate prediction requires complex algorithms that explicitly leverage long-range dependencies. Perhaps surprisingly, our positive results show that for a broad class of sequences, there is an algorithm that predicts well on average, and bases its predictions only on the most recent few observation together with a set of simple summary statistics of the past observations. Specifically, we show that for any distribution over observations, if the mutual information between past observations and future observations is upper bounded by $I$, then a simple Markov model over the most recent $I/ε$ observations obtains expected KL error $ε$---and hence $\ell_1$ error $\sqrtε$---with respect to the optimal predictor that has access to the entire past and knows the data generating distribution. For a Hidden Markov Model with $n$ hidden states, $I$ is bounded by $\log n$, a quantity that does not depend on the mixing time, and we show that the trivial prediction algorithm based on the empirical frequencies of length $O(\log n/ε)$ windows of observations achieves this error, provided the length of the sequence is $d^{Ω(\log n/ε)}$, where $d$ is the size of the observation alphabet. We also establish that this result cannot be improved upon, even for the class of HMMs, in the following two senses: First, for HMMs with $n$ hidden states, a window length of $\log n/ε$ is information-theoretically necessary to achieve expected $\ell_1$ error $\sqrtε$. Second, the $d^{Θ(\log n/ε)}$ samples required to estimate the Markov model for an observation alphabet of size $d$ is necessary for any computationally tractable learning algorithm, assuming the hardness of strongly refuting a certain class of CSPs.

研究の動機と目的

• 一般の条件下で、正確な逐次予測を達成するために必要な最小記憶長を特定すること。
• KLダイバージェンスと $ \ell_1 $ 誤差の観点から、記憶長と予測精度のトレードオフを分析すること。
• 隠れマルコフモデルにおける短い窓を用いた予測に関して、情報理論的および計算上の下界を確立すること。
• 短い観測窓上で単純な経験的頻度推定が、複雑な記憶構造を用いずに最適な予測誤差を達成できることを示すこと。

提案手法

• 予測を過去 $ \ell $ 個の最新観測値のみに依存するマルコフモデルを提案し、$ \ell = O(I/\epsilon) $ とすることで、期待KLダイバージェンス誤差が $ \epsilon $ 以内となるようにする。
• 記憶長の必要最小値を制限するための複雑さの指標として、過去と未来の間の相互情報量 $ I $ を用いる。
• Pinskerの不等式とJensenの不等式を適用し、KLダイバージェンス誤差と $ \ell_1 $ 誤差の関係を導出し、$ \sqrt{\epsilon} $ の精度を示す。
• ハードインスタンス構築により下界を確立：$ n $ 状態のHMMを巧みに設計し、観測値をランダムに並び替えることで、最悪ケースの予測を模倣する。
• Chernoffの不等式と集中不等式を用いて、高確率で十分な数の短いセグメント（長さ $ \ell $）が真の状態とハミング距離で近接していることを示し、正確な予測を可能にする。
• 任意の計算的に実行可能なアルゴリズムが、そのようなマルコフモデルを正確に推定するには $ d^{\Theta(\log n / \epsilon)} $ 個のサンプルが必要であることを示している。これは、特定のクラスのCSPを反証することが難しいという仮定に基づく。

実験結果

リサーチクエスチョン

• RQ1 完全な記憶を持つ最適予測器と比較して、$ \epsilon $-誤差を達成するためのマルコフモデルが必要な最小窓長は何か？
• RQ2 短い観測窓上で単純な経験的頻度推定が、近似的に最適な予測性能を達成できるか？
• RQ3 必要な窓長は混合時間に依存するのではなく、過去と未来の間の相互情報量にのみ依存するか？
• RQ4 HMMに $ n $ 状態がある場合、KLダイバージェンス誤差 $ \epsilon $ を達成するために必要な情報理論的最小窓長は何か？
• RQ5 任意の実行可能学習アルゴリズムが、HMMの予測誤差を $ \epsilon $ 以内に抑えるために必要なサンプル複雑度は何か？

主な発見

• 過去と未来の間の相互情報量が $ I $ である任意の分布に対して、最新の $ O(I/\epsilon) $ 個の観測値のみを用いるマルコフモデルは、期待KL誤差が $ \epsilon $ 以内となる。
• HMMに $ n $ 個の隠れ状態がある場合、相互情報量 $ I $ は $ \log n $ で上限が与えられるため、KLダイバージェンス誤差 $ \epsilon $ を達成するためには窓長 $ O(\log n / \epsilon) $ で十分である。
• HMMにおいてKLダイバージェンス誤差 $ \epsilon $ を達成するには、窓長 $ \Theta(\log n / \epsilon) $ が情報理論的に必要である。
• 計算的に実行可能な予測アルゴリズムは、特定のクラスのCSPの反証が難しいと仮定すれば、そのようなモデルを正確に推定するには $ d^{\Theta(\log n / \epsilon)} $ 個のサンプルが必要である。
• 予測の $ \ell_1 $ 誤差は、Pinskerの不等式によりKL誤差の境界から導かれるため、$ \sqrt{\epsilon} $ 以下である。
• 結果はタイトである：KLダイバージェンス誤差 $ \epsilon $ を達成するには、それより短い窓では不可能であり、標準的な複雑性仮定のもとでは、より少ないサンプル数では正確な推定が不可能である。