[논문 리뷰] On Learning Markov Chains

Hao Yi, Alon Orlitsky외 1명|arXiv (Cornell University)|2018. 01. 01.

Machine Learning and Algorithms인용 수 13

한 줄 요약

이 논문은 n개의 순차적 샘플로부터 k-상태 마르코프 체인을 추정할 때 발생하는 오랜 동안 미해결이었던 문제들을 해결하며, 전이 확률이 0에서 멀리 떨어져 있을 경우, k-상태 마르코프 체인을 추정하기 위한 날카운 min-max 위험 한계를 확립한다. 이는 KL-발산을 사용한 다음 상태 예측에 대해 근사적으로 최적의 한계를 제공하며, 전이 확률이 0에서 멀리 떨어져 있을 경우 부드러운 f-발산에 대한 추정 문제를 해결한다.

ABSTRACT

The problem of estimating an unknown discrete distribution from its samples is a fundamental tenet of statistical learning. Over the past decade, it attracted significant research effort and has been solved for a variety of divergence measures. Surprisingly, an equally important problem, estimating an unknown Markov chain from its samples, is still far from understood. We consider two problems related to the min-max risk (expected loss) of estimating an unknown k-state Markov chain from its n sequential samples: predicting the conditional distribution of the next sample with respect to the KL-divergence, and estimating the transition matrix with respect to a natural loss induced by KL or a more general f-divergence measure. For the first measure, we determine the min-max prediction risk to within a linear factor in the alphabet size, showing it is \Omega(k\log\log n/n) and O(k^2\log\log n/n). For the second, if the transition probabilities can be arbitrarily small, then only trivial uniform risk upper bounds can be derived. We therefore consider transition probabilities that are bounded away from zero, and resolve the problem for essentially all sufficiently smooth f-divergences, including KL-, L_2-, Chi-squared, Hellinger, and Alpha-divergences.

연구 동기 및 목표

• 최근 분포 추정 분야의 진전에도 불구하고 여전히 잘 이해되지 않는, n개의 순차적 샘플로부터 알려지지 않은 k-상태 마르코프 체인을 추정하는 기본 문제를 다루는 것.
• KL-발산을 사용하여 다음 샘플의 조건부 분포를 예측할 때의 min-max 예측 위험을 결정하는 것.
• 일반적인 f-발산 측도 하에서 전이 행렬의 추정 문제를 해결하는 것, 특히 전이 확률이 0에서 멀리 떨어져 있을 경우에 중점을 두는 것.
• 예측 및 추정 설정 모두에서 위험에 대한 날카운 상한 및 하한을 제공하여 이전 연구에서의 격차를 메우는 것.

제안 방법

• 저자들은 정보이론적 기법을 사용하여 최악의 경우 기대 손실에 대해 모든 k-상태 마르코프 체인에 대해 min-max 위험을 분석한다.
• KL-발산과 샘플 복잡도의 구조를 악용하는 적대적 마르코프 체인의 구성을 통해 하한을 도출한다.
• 상한을 위해, 순차적 샘플링 모델에 적합하게 조정된 철저한 농도 경계를 갖는 경험 빈도 추정 기반의 새로운 추정 전략을 설계한다.
• 발산의 부드러움 성질을 활용하여 일반적인 f-발산으로 분석을 확장함으로써, KL, L2, 카이제곱, 헬링거, 알파-발산에 대한 결과를 도출한다.
• 샘플 크기 n과 알파벳 크기 k에 대한 의존도를 정밀화하기 위해 로그 및 반복 로그 인자를 통합한다.
• 전이 확률이 0에서 멀리 떨어져 있을 경우, 일반적인 경우에만 균일한 상한이 존재하는 것과는 달리, 비어 있지 않은 위험 한계를 달성할 수 있음을 증명한다.

실험 결과

연구 질문

• RQ1 KL-발산을 사용하여 다음 상태의 조건부 분포를 추정할 때의 min-max 예측 위험은 무엇이며, k와 n에 따라 어떻게 척도화되는가?
• RQ2 전이 확률이 임의로 작을 경우, 전이 행렬을 추정하기 위한 비어 있지 않은 위험 한계를 유도할 수 있는가?
• RQ3 KL 및 L2와 같은 부드러운 f-발산 하에서 전이 행렬 추정의 최적 수렴 속도는 무엇인가?
• RQ4 예측 위험의 하한은 상태 수 k와 샘플 크기 n에 따라 어떻게 척도화되는가?
• RQ5 마르코프 체인의 추정 위험에 대해 날카운 상한 및 하한을 확립할 수 있는 조건은 무엇인가?

주요 결과

• KL-발산 하에서 다음 상태 예측에 대한 min-max 예측 위험은 Ω(k log log n / n)과 O(k² log log n / n) 사이에 놓여 있으며, k에 대한 선형 인자 외에는 점근적 속도가 해결된 상태이다.
• 전이 확률이 0에서 멀리 떨어져 있을 경우, 이 논문은 KL, L2, 카이제곱, 헬링거, 알파-발산을 포함한 모든 충분히 부드러운 f-발산에 대해 날카운 위험 한계를 확립한다.
• 일반적인 전이 행렬에서 확률이 임의로 작을 경우, 위험에 대한 유일한 비어 있지 않은 균일 상한만 도출될 수 있으며, 이는 하한 가정의 필요성을 시사한다.
• 분석 결과, 상태 수 k에 대한 의존도는 선형 인자 외에는 날카로운 것으로 밝혀졌으며, k가 증가함에 따라 마르코프 체인 학습의 본질적 어려움을 강조한다.
• 결과적으로, 샘플의 순차적 성격이 위험 분석에서 신중히 고려되어야 할 비어 있지 않은 구조를 도입한다는 점을 보여준다.
• 이 논문은 마르코프 체인에 대한 통계학습 이론에서 오랫동안 존재하던 격차를 메우며, 핵심 추정 문제에 대해 처음으로 거의 매칭되는 상한 및 하한을 제공한다.