[논문 리뷰] Prediction with a Short Memory

Vatsal Sharan, Sham M. Kakade외 2명|arXiv (Cornell University)|2016. 12. 08.

Machine Learning and Algorithms참고 문헌 48인용 수 7

한 줄 요약

이 논문은 일반적인 확률과정의 광범위한 클래스에 대해, 향후 관측값을 정확하게 예측하는 데 짧은 기억만으로도 충분함을 보여준다. 특히 과거와 미래 사이의 상호정보량 $ I $ 를 기반으로 하여, 최근 $ O(I/\epsilon) $개의 관측값만을 사용하면 $ \epsilon $-오차를 달성할 수 있다. 이는 정보이론적 및 계산 복잡도 하한을 엄밀하게 설정하며, $ n $개 상태를 가진 은닉 마르코프 모델(HMM)의 경우, $ \epsilon $-오차를 달성하기 위해 $ \Theta(\log n / \epsilon) $ 길이의 윈도우가 반드시 필요하고 동시에 충분함을 증명한다. 또한, 어떤 계산적으로 타당한 알고리즘도 $ d^{\Theta(\log n / \epsilon)} $개의 샘플이 필요하다고 보여준다.

ABSTRACT

We consider the problem of predicting the next observation given a sequence of past observations, and consider the extent to which accurate prediction requires complex algorithms that explicitly leverage long-range dependencies. Perhaps surprisingly, our positive results show that for a broad class of sequences, there is an algorithm that predicts well on average, and bases its predictions only on the most recent few observation together with a set of simple summary statistics of the past observations. Specifically, we show that for any distribution over observations, if the mutual information between past observations and future observations is upper bounded by $I$, then a simple Markov model over the most recent $I/ε$ observations obtains expected KL error $ε$---and hence $\ell_1$ error $\sqrtε$---with respect to the optimal predictor that has access to the entire past and knows the data generating distribution. For a Hidden Markov Model with $n$ hidden states, $I$ is bounded by $\log n$, a quantity that does not depend on the mixing time, and we show that the trivial prediction algorithm based on the empirical frequencies of length $O(\log n/ε)$ windows of observations achieves this error, provided the length of the sequence is $d^{Ω(\log n/ε)}$, where $d$ is the size of the observation alphabet. We also establish that this result cannot be improved upon, even for the class of HMMs, in the following two senses: First, for HMMs with $n$ hidden states, a window length of $\log n/ε$ is information-theoretically necessary to achieve expected $\ell_1$ error $\sqrtε$. Second, the $d^{Θ(\log n/ε)}$ samples required to estimate the Markov model for an observation alphabet of size $d$ is necessary for any computationally tractable learning algorithm, assuming the hardness of strongly refuting a certain class of CSPs.

연구 동기 및 목표

• 일반 조건 하에서 정확한 순차적 예측을 위해 필요한 최소 메모리 길이를 규명하는 것.
• KL 발산과 $ \ell_1 $ 오차 기준으로 메모리 길이와 예측 정확도 사이의 상호관계를 분석하는 것.
• 은닉 마르코프 모델에서 짧은 윈도우를 사용한 예측에 대한 정보이론적 및 계산 복잡도 하한을 설정하는 것.
• 단순한 경험 빈도 추정이 짧은 관측 윈도우에서 복잡한 기억 구조 없이도 최적의 예측 오차를 달성할 수 있음을 보여주는 것.

제안 방법

• 예측을 위해 가장 최근 $ \ell $개의 관측값만을 사용하는 마르코프 모델을 제안하며, 여기서 $ \ell = O(I/\epsilon) $ 이다. 이는 기대 KL 발산 오차가 $ \epsilon $ 이내가 되도록 한다.
• 정확한 예측을 위해 필요한 메모리 길이를 제한하기 위해 과거와 미래 사이의 상호정보량 $ I $ 를 복잡도 측도로 사용한다.
• Pinsker의 부등식과 Jensen의 부등식을 적용하여 KL 발산 오차와 $ \ell_1 $ 오차 사이의 관계를 유도하며, 이로부터 $ \sqrt{\epsilon} $-정확도를 도출한다.
• 하드 인스턴스 구성에 의한 하한 설정: $ n $개 상태와 관측값의 무작위 순열을 갖는 특별히 설계된 HMM을 통해 최악의 경우 예측을 시뮬레이션한다.
• Chernoff 한계와 농도 불등식을 사용하여, 높은 확률로 충분한 수의 짧은 세그먼트(길이 $ \ell $)가 진짜 상태와 해밍 거리에서 가까워지며, 이는 정확한 예측을 가능하게 한다.
• 어느 계산적으로 타당한 알고리즘도 마르코프 모델을 정확히 추정하기 위해 $ d^{\Theta(\log n / \epsilon)} $개의 샘플이 필요하다는 것을 보여준다. 이는 특정 종류의 CSP를 반박하는 것이 어렵다는 가정 하에 성립한다.

실험 결과

연구 질문

• RQ1 완전한 기억을 가진 최적 예측기와 비교할 때, $ \epsilon $-오차를 달성하기 위해 마르코프 모델이 필요한 최소 윈도우 길이는 얼마인가?
• RQ2 짧은 관측 윈도우에서 단순한 경험 빈도 추정이 near-optimal 예측 성능을 달성할 수 있는가?
• RQ3 필요한 윈도우 길이는 혼합 시간에 의존하는가, 아니면 과거와 미래 사이의 상호정보량에만 의존하는가?
• RQ4 HMM의 $ n $개 상태에서 KL 발산 오차 $ \epsilon $-오차를 달성하기 위해 필요한 정보이론적 최소 윈도우 길이는 얼마인가?
• RQ5 어떤 타당한 학습 알고리즘도 HMM에서 $ \epsilon $-오차를 달성하기 위해 필요한 샘플 복잡도는 얼마인가?

주요 결과

• 과거와 미래 사이의 상호정보량 $ I $ 를 가진 임의의 분포에 대해, 최근 $ O(I/\epsilon) $개의 관측값만을 사용하는 마르코프 모델은 기대 KL 오차가 $ \epsilon $ 이내가 된다.
• HMM의 $ n $개의 은닉 상태를 가진 경우, 상호정보량 $ I $ 는 $ \log n $ 이하로 제한되며, 따라서 $ O(\log n / \epsilon) $ 길이의 윈도우로도 KL 발산 오차 $ \epsilon $ 이내를 달성할 수 있다.
• HMM에서 KL 발산 오차 $ \epsilon $-오차를 달성하기 위해 필요한 윈도우 길이 $ \Theta(\log n / \epsilon) $ 는 정보이론적으로 필수적이다.
• 어느 계산적으로 타당한 예측 알고리즘도 마르코프 모델을 정확히 추정하기 위해 $ d^{\Theta(\log n / \epsilon)} $개의 샘플이 필요하며, 이는 특정 종류의 CSP를 반박하는 것이 어렵다는 가정 하에 성립한다.
• 예측의 $ \ell_1 $ 오차는 Pinsker의 부등식에 의해 $ \sqrt{\epsilon} $ 이하가 된다.
• 결과는 엄밀하다: $ \epsilon $-오차를 달성하기 위해 더 짧은 윈도우를 사용할 수 없으며, 표준 복잡도 가정 하에 더 적은 수의 샘플로는 정확한 추정이 불가능하다.