[논문 리뷰] Optimized Hidden Markov Model based on Constrained Particle Swarm Optimization

Chang Liu, Yacine Ouzrout외 2명|arXiv (Cornell University)|2018. 11. 07.

Web Data Mining and Analysis참고 문헌 13인용 수 4

한 줄 요약

이 논문은 기존 Baum-Welch 알고리즘의 국소 최적해 문제를 해결하기 위해 제약 조건이 있는 PSO를 활용해 HMM 파라미터를 최적화하는 PSOHMM(입자군집최적화 기반 은닉 마르코프 모델)을 제안한다. 재정규화 및 재매핑 메커니즘을 도입함으로써 통계적 제약 조건을 강제하면서도 기존 BWHMM에 비해 더 빠른 수렴 속도와 뛰어난 해의 품질을 달성한다.

ABSTRACT

As one of Bayesian analysis tools, Hidden Markov Model (HMM) has been used to in extensive applications. Most HMMs are solved by Baum-Welch algorithm (BWHMM) to predict the model parameters, which is difficult to find global optimal solutions. This paper proposes an optimized Hidden Markov Model with Particle Swarm Optimization (PSO) algorithm and so is called PSOHMM. In order to overcome the statistical constraints in HMM, the paper develops re-normalization and re-mapping mechanisms to ensure the constraints in HMM. The experiments have shown that PSOHMM can search better solution than BWHMM, and has faster convergence speed.

연구 동기 및 목표

• 은닉 마르코프 모델(HMM) 파라미터 추정에서 기존 Baum-Welch 알고리즘이 전역 최적해를 찾는 데에 한계를 가진다는 문제를 해결하기 위해.
• HMM에 내재된 통계적 제약 조건을 통합한 새로운 최적화 프레임워크를 개발하기 위해.
• 메타휴리스틱 최적화를 통해 HMM 파라미터 학습의 수렴 속도와 해의 품질을 향상시키기 위해.
• 재매핑 및 재정규화를 통한 확률적 제약 조건 강제 적용을 통해 최적화된 HMM 파라미터가 유효하게 유지되도록 보장하기 위해.

제안 방법

• Baum-Welch의 반복적 기대-최대화 접근 방식을 대체하기 위해 입자군집최적화(PSO)를 활용해 최적의 HMM 파라미터를 탐색한다.
• HMM 전이 및 발화 확률에 요구되는 유효한 확률 단체 공간으로 입자 위치를 투영하기 위해 재매핑 메커니즘을 도입한다.
• 각 PSO 반복 후 전이 및 발화 행렬의 제약 위반을 수정하기 위해 재정규화 기법을 적용한다.
• 경계 조건과 페널티 함수를 사용해 검색 공간을 제약하여 HMM 파라미터의 확률적 타당성을 유지한다.
• 관측 시퀀스의 로그우도를 기반으로 한 피트니스 함수를 사용해 PSO 입자 갱신을 이끌어낸다.
• 제약 조건 처리를 PSO 알고리즘 내부에 직접 통합해 최적화 전반에 걸쳐 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 입자군집최적화가 확률 분포의 통계적 제약 조건을 준수하면서도 HMM 파라미터를 효과적으로 최적화할 수 있는가?
• RQ2 PSOHMM은 표준 Baum-Welch 알고리즘에 비해 더 빠른 수렴 속도를 보이고 더 높은 로그우도 점수를 달성하는가?
• RQ3 재매핑 및 재정규화 기법이 PSO 최적화 과정에서 HMM 파라미터의 타당성을 유지하는 데 얼마나 효과적인가?
• RQ4 복잡한 시퀀스 모델링 과제에서 PSOHMM은 Baum-Welch보다 국소 최적해를 더 효과적으로 피할 수 있는가?

주요 결과

• 테스트 시퀀스에서의 로그우도 점수 상승을 통해 PSOHMM이 BWHMM보다 뛰어난 해의 품질을 달성한다.
• 반복적인 Baum-Welch 알고리즘에 비해 PSOHMM은 더 빠른 수렴 속도를 보인다.
• 재매핑 및 재정규화 메커니즘이 최적화 전반에 걸쳐 HMM 파라미터의 확률적 제약 조건을 성공적으로 유지한다.
• 제안된 제약 조건 처리 기법은 유효하지 않은 확률 행렬을 방지하여 최적화된 HMM의 타당성을 보장한다.
• 실증 결과는 PSOHMM이 수렴 속도와 최종 해의 품질 양면에서 BWHMM을 능가함을 확인한다.
• PSO와 HMM 파라미터 학습의 통합은 기존 EM 기반 방법에 대한 강력한 대안을 제공한다.