[논문 리뷰] Selecting the Number of States in Hidden Markov Models - Pitfalls, Practical Challenges and Pragmatic Solutions

Jennifer Pohle, Roland Langrock외 2명|arXiv (Cornell University)|2017. 01. 30.

Bayesian Methods and Mixture Models참고 문헌 41인용 수 12

한 줄 요약

이 논문은 생태학적 및 행동 데이터 분석에서 상태의 해석 가능성과 관련하여 은닉 마르코프 모델(HMM)의 상태 수 선택이라는 핵심 과제를 다룬다. 표준 정보 기준(AIC, BIC)이 외곽치 및 계절성과 같은 데이터 복잡성에 민감하여 상태 수를 과대평가하는 경향이 있음을 입증하고, 생물학적으로 의미 있는 상태 수를 확보하기 위해 모델 선택 기준, 전문 지식, 진단 검사 등을 통합하는 실용적이고 단계적인 접근법을 제안한다. 이는 무스코브 이동 사례 연구를 통해 검증되었다.

ABSTRACT

We discuss the notorious problem of order selection in hidden Markov models, i.e. of selecting an adequate number of states, highlighting typical pitfalls and practical challenges arising when analyzing real data. Extensive simulations are used to demonstrate the reasons that render order selection particularly challenging in practice despite the conceptual simplicity of the task. In particular, we demonstrate why well-established formal procedures for model selection, such as those based on standard information criteria, tend to favor models with numbers of states that are undesirably large in situations where states shall be meaningful entities. We also offer a pragmatic step-by-step approach together with comprehensive advice for how practitioners can implement order selection. Our proposed strategy is illustrated with a real-data case study on muskox movement.

연구 동기 및 목표

• 실제 생태학적 자료에 적용된 HMM에서 AIC 및 BIC와 같은 표준 모델 선택 기준이 왜 자주 너무 많은 상태를 선택하는지 규명하는 것.
• 동물 이동 또는 생태학적 시계열 자료에서 의미 있는 행동 상태를 추론하는 목적이 있을 때, 형식적 정보 기준에만 의존하는 실무적 함정을 부각하는 것.
• 통계 기준과 영역 전문 지식 및 모델 진단을 통합하는 실용적이고 다단계적인 순서 선택 방법을 개발하고 주장하는 것.
• 시뮬레이션과 실제 사례 연구를 통해 더 적은 수의 해석 가능한 상태를 가진 모델이, 적어도 적합도는 약간 떨어지더라도 더 높은 수의 상태를 가진 모델보다 더 우수함을 입증하는 것.

제안 방법

• 다양한 데이터 조건, 예를 들어 겹치는 분포와 무시된 데이터 구조를 포함한 상황에서 AIC, BIC, ICL의 성능을 평가하기 위해 광범위한 시뮬레이션 연구를 수행하는 것.
• 초기 모델 피팅, 모델 적합도 및 해석 가능성 평가, 전문 지식을 활용한 반복적 개선을 포함하는 단계별 실용적 프레임워크를 제안하는 것.
• 비터비 알고리즘을 사용하여 상태 시퀀스를 복원하고 모델 점검에 활용하며, 식별된 상태의 안정성과 생물학적 타당성을 평가하는 것.
• 정보 기준(AIC, BIC, ICL)을 유일한 결정 도구로 사용하지 않고, 모델 적합도 평가를 위한 광범위한 진단 과정의 일부로 활용하는 것.
• 시각적 및 정량적 진단(예: 상태 의존 분포의 밀도도)을 통합하여 추가 상태가 잡음인지 실제 구조를 반영하는지 평가하는 것.
• 실제 무스코브 이동 자료 사례 연구를 통해 제안된 접근법을 검증하며, 2~5개 상태를 가진 모델 간의 적합도, 해석 가능성, 생물학적 관련성을 비교하는 것.

실험 결과

연구 질문

• RQ1 왜 AIC 및 BIC와 같은 표준 정보 기준이 생태학적 자료에 적용된 HMM에서 상태 수를 과다 선택하는 경향이 있는가?
• RQ2 계절성, 외곽치, 이질성과 같은 데이터 특성이 모델 선택을 과적합 쪽으로 얼마나 영향을 미치는가?
• RQ3 HMM의 상태 수를 선택할 때 통계적 적합도와 생물학적 해석 가능성 사이를 어떻게 균형 잡을 수 있는가?
• RQ4 형식적 기준이 의미 있는 결과를 도출하지 못할 경우 전문 지식이 모델 선택을 어떻게 개선하는 데 기여하는가?
• RQ5 형식적 기준과 진단 검사를 결합한 하이브리드 실용적 접근법이 순수 통계적 방법보다 더 신뢰할 수 있고 의미 있는 상태 수를 도출할 수 있는가?

주요 결과

• AIC 및 BIC와 같은 표준 정보 기준은 계절성 및 외곽치와 같은 데이터 특성에 민감하여, 진짜 상태 수가 낮을 때도 은닉 상태 수를 과대평가하는 경향이 있다.
• 세 개의 진짜 상태가 있는 시뮬레이션에서 AIC는 41%에서 46%의 경우에 네 개의 상태를 선택했고, BIC는 98%에서 100%의 경우에 세 개의 상태를 정확히 선택하여 이 조건 하에서 BIC의 뛰어난 성능을 확인했다.
• 겹치는 상태 의존 분포가 있는 상황에서는 ICL 기준이 빈약하게 작동하여 자주 너무 적은 수의 상태를 선택했다(예: 시나리오 9에서 64%의 경우에 두 개의 상태를 선택함), 이는 알려진 한계를 확인한다.
• 제안된 실용적 접근법은 무스코브 이동 자료에 대해 다섯 개 상태 모델이 최적임을 성공적으로 식별하여 적합도와 해석 가능성 사이의 균형을 이루었다. 이는 AIC/BIC가 더 높은 수를 선호하는 바에도 불구하고 성립한다.
• 무스코브 사례 연구에서 다섯 개 이상의 상태를 가진 모델은 더 나은 적합도를 보였지만, 각 상태가 사료 채집 또는 휴식과 같은 명확한 행동 모드에 대응하지 않아 생물학적 해석 가능성에 결함이 있었다.
• 연구는 실무에서 해석 가능한 상태 수를 신뢰할 수 있게 도출하는 데 단일 형식적 기준이 항상 효과적이지 않음을 결론 내리며, 통계 도구와 영역 전문 지식, 모델 진단을 통합하는 하이브리드 접근법이 필요하다고 주장한다.