[논문 리뷰] Estimate exponential memory decay in Hidden Markov Model and its applications

Felix X.-F. Ye, Yi-An Ma외 1명|arXiv (Cornell University)|2017. 10. 17.

Markov Chains and Monte Carlo Methods참고 문헌 40인용 수 5

한 줄 요약

이 논문은 랜덤 행렬 곱의 상위 두 리아푸노프 지수 간격을 이용하여 은닉 마르코프 모델(HMM)에서 지수적 메모리 감쇠률을 효율적으로 추정하는 알고리즘을 제안한다. 이 감쇠률을 활용함으로써 오차가 통제된 서브시퀀스 기반 추론이 가능해져 장수열 HMM에서 계산 비용을 크게 감소시키면서도 정확성과 확장성을 유지한다.

ABSTRACT

Inference in hidden Markov model has been challenging in terms of scalability due to dependencies in the observation data. In this paper, we utilize the inherent memory decay in hidden Markov models, such that the forward and backward probabilities can be carried out with subsequences, enabling efficient inference over long sequences of observations. We formulate this forward filtering process in the setting of the random dynamical system and there exist Lyapunov exponents in the i.i.d random matrices production. And the rate of the memory decay is known as $λ_2-λ_1$, the gap of the top two Lyapunov exponents almost surely. An efficient and accurate algorithm is proposed to numerically estimate the gap after the soft-max parametrization. The length of subsequences $B$ given the controlled error $ε$ is $B=\log(ε)/(λ_2-λ_1)$. We theoretically prove the validity of the algorithm and demonstrate the effectiveness with numerical examples. The method developed here can be applied to widely used algorithms, such as mini-batch stochastic gradient method. Moreover, the continuity of Lyapunov spectrum ensures the estimated $B$ could be reused for the nearby parameter during the inference.

연구 동기 및 목표

• 관측 시퀀스의 장거리 의존성으로 인한 HMM 추론의 확장성 문제를 해결하기 위해.
• 필터링된 상태 확률의 메모리 감쇠 속도를 효율적이고 정확하게 추정하는 방법을 개발하기 위해.
• 통제된 근사 오차를 확보하기 위해 최적의 서브시퀀스 길이를 결정함으로써 HMM에서 미니배치 스토하스틱 최적화를 가능하게 하기 위해.
• 리아푸노프 지수 간격을 메모리 감쇠의 대체 측정치로 사용하는 데 이론적 근거와 수치적 검증을 제공하기 위해.
• 서브시퀀스 독립성의 특성을 활용하여 미니배치 경사하강법과 같은 스토하스틱 알고리즘의 HMM 적용 범위를 확장하기 위해.

제안 방법

• 발생 및 전이 확률로부터 유도된 i.i.d. 랜덤 행렬의 곱으로서 프론트워드 필터링 과정을 수식화한다.
• 랜덤 동역계 이론과 곱셈적 에르고딕 정리(Oseledec의 정리)를 적용하여 필터링 과정의 장기적 행동을 특성화한다.
• 소프트맥스 매개변수화 이후 상위 두 리아푸노프 지수 간격을 추정하기 위한 수치적 알고리즘을 제안하며, 이는 메모리 감쇠 속도를 정량화한다.
• 근사 오차가 $ \epsilon $ 이내로 제한되도록 하기 위해 $ B = \log(\epsilon) / (\lambda_2 - \lambda_1) $ 의 서브시퀀스 길이를 유도한다.
• 리아푸노프 스펙트럼의 연속성을 활용하여 반복적 추론 중 근처 매개변수 값에 대해 추정된 서브시퀀스 길이를 재사용할 수 있도록 한다.
• 최대우도 추정을 위해 알고리즘을 미니배치 스토하스틱 경사하강법에 통합함으로써 반복 계산량을 감소시킨다.

실험 결과

연구 질문

• RQ1 HMM의 필터링된 상태 확률에서 메모리가 감쇠하는 정확한 속도는 무엇인가?
• RQ2 상위 두 리아푸노프 지수 간격이 실질적으로 이 메모리 감쇠 속도를 정확하게 측정할 수 있는가?
• RQ3 서브시퀀스 기반 추론에 활용하기 위해 메모리 감쇠 속도를 효율적이고 정확하게 추정하는 방법은 무엇인가?
• RQ4 전체 관측 후행확률을 근사할 때 오차 $ \epsilon $ 가 통제되는 최적의 서브시퀀스 길이 $ B $ 는 무엇인가?
• RQ5 이 방법은 HMM에서 미니배치 경사하강법과 같은 스토하스틱 추론 알고리즘의 가속화에 얼마나 기여할 수 있는가?

주요 결과

• HMM 필터링에서 메모리 감쇠 속도는 거의 확실하게 랜덤 행렬 곱의 상위 두 리아푸노프 지수 간격 $ \lambda_2 - \lambda_1 $ 와 같다.
• 오차 $ \epsilon $ 를 통제하기 위해 필요한 서브시퀀스 길이는 $ B = \log(\epsilon) / (\lambda_2 - \lambda_1) $ 로 주어지며, 이는 효율적인 서브시퀀스 기반 추론을 가능하게 한다.
• 리아푸노프 지수 간격을 추정하기 위한 제안된 알고리즘은 정확하고 효율적이어서 반복적 추론에 실용적으로 적용할 수 있다.
• 수치 실험 결과, 1000만 길이의 시퀀스에 대해 약 800만 번의 행렬 곱셈만으로도 전체 관측 단계의 10% 미만으로 최대우도 추정(MLE)에 수렴함을 확인하였다.
• 이 알고리즘은 스토하스틱 성격 덕분에 가능성이 낮은 영역(플랫 영역)을 효과적으로 벗어나는 것으로 확인되었으며, 로그우도 함수의 등고선도에서 이를 명확히 확인할 수 있었다.
• 리아푸노프 스펙트럼의 연속성 덕분에 근처 매개변수 값에 대해 추정된 서브시퀀스 길이를 재사용할 수 있어 최적화 효율성이 향상된다.