[논문 리뷰] Finite state space non parametric Hidden Markov Models are in general identifiable

Élisabeth Gassiat, Alice Cleynen외 1명|arXiv (Cornell University)|2013. 06. 19.

Bayesian Methods and Mixture Models참고 문헌 23인용 수 15

한 줄 요약

이 논문은 은닉 마르코프 체인 전이 행렬이 최대 질서이고 발화 분포가 선형 독립일 경우 유한 상태 비모수적 은닉 마르코프 모형(HMM)이 상태 레이블 재할당을 제외하고 식별 가능하다고 규명한다. 저자들은 단지 세 개의 연속 관측치로부터 식별 가능성을 입증하고, RNA-Seq 및 전사체 타일링 어레이 분석과 같은 적용 분야에서 분류 성능을 향상시키는 비모수적 우도 기반 추정 방법을 제안한다.

ABSTRACT

In this paper, we prove that finite state space non parametric hidden Markov models are identifiable as soon as the transition matrix of the latent Markov chain has full rank and the emission probability distributions are linearly independent. We then propose several non parametric likelihood based estimation methods, which we apply to models used in applications. We finally show on examples that the use of non parametric modeling and estimation may improve the classification performances.

연구 동기 및 목표

• 비모수적 발화 분포에 대한 파rametric 가정 없이 비모수적 HMM이 이론적으로 언제 식별 가능한지에 대한 조건을 규명하는 것.
• 음성 인식 및 유전체학과 같은 응용 분야에서 널리 사용되는 기존 비모수적 HMM 추정 방법에 대한 이론적 근거 부족 문제를 다루는 것.
• 은닉 마르코프 의존성에 의해 유도되는 관측 변수의 의존성 구조가 이질적인 혼합 성분을 식별 가능하게 하는지 보여주는 것.
• 유한 상태 HMM의 발화 분포와 전이 행렬에 대해 일관된 비모수적 추정 절차를 제안하는 것.
• 실제 생물학적 데이터 예제에서 비모수적 모델링이 파라미터 모델링 대비 분류 성능 향상이 실제로 어떻게 이루어지는지 실증적으로 보여주는 것.

제안 방법

• 전이 행렬이 최대 질서이고 발화 측도가 선형 독립일 조건 하에, 세 개의 연속 관측치의 분포를 이용한 비모수적 HMM의 식별성 증명.
• 마르코프 체인의 조건부 독립 구조 활용: X2를 조건으로 하면 X1과 X3가 독립이므로, (Y1,Y2,Y3)의 공동 분포를 분해할 수 있음.
• 선형 대수적 추론을 적용하여 공동 분포가 상태 레이블 순열을 제외하고는 발화 분포와 전이 행렬을 유일하게 결정함을 보임.
• 핵밀도 추정과 교차검증을 통한 밴드위드 선택을 포함한 비모수적 우도 기반 추정 방법 제안.
• 수치적 안정성과 분류 성능 향상을 위해 우도에 정규화를 도입하고, 교차검증 또는 히우리스틱 선택을 통해 튜닝함.
• 모델링 프레임워크를 실제 데이터에 적용하여, 시뮬레이션된 RNA-Seq 데이터와 아랍시스 톨리아나의 전사체 타일링 어레이 데이터를 핵밀도 기반 비모수적 밀도 추정을 통해 분석함.

실험 결과

연구 질문

• RQ1 유한 상태 비모수적 HMM이 세 개의 연속 관측치 분포로부터 언제 식별 가능한가?
• RQ2 발화 분포에 대해 파라미터 가정 없이 은닉 마르코프 모형의 발화 분포와 전이 행렬을 일관되게 추정할 수 있는가?
• RQ3 은닉 마르코프 체인이 유도하는 의존성 구조가 이질적인 혼합 성분을 식별 가능하게 하는가?
• RQ4 실제 생물학적 데이터에서 비모수적 추정은 파라미터 모델링 대비 분류 정확도에서 어떻게 성능을 발휘하는가?
• RQ5 유한 표본 설정에서 비모수적 HMM 추정 성능 향상에 정규화가 어떤 역할을 하는가?

주요 결과

• 전이 행렬이 최대 질서이고 발화 분포가 선형 독립일 경우, 유한 상태 비모수적 HMM은 세 개의 연속 관측치 분포로부터 식별 가능하다.
• 식별성 결과는 상태 레이블 순열을 제외한 것으로, 혼합 모형에서 달성 가능한 최고 수준의 식별성이다.
• RNA-Seq 데이터를 시뮬레이션한 연구에서, 비모수적 우도의 정규화가 비정규화 추정기보다 분류 성능을 향상시켰다.
• 전사체 타일링 어레이 데이터 분석에서, 핵밀도 추정을 사용한 5상태 비모수적 HMM은 불활성(파란색) 그룹을 두 개의 구분 가능한 상태로 나누어 생물학적으로 타당한 하위군을 드러냈다.
• 비모수적 모형에서 추정된 발화 분포는 표준 파라미터 가정(예: 이변량 정규분포)으로는 표현할 수 없는 복잡한 비정규형 형태를 띠었다.
• 결과적으로, 파라미터 가정이 잘못된 모델 적합과 분류 오류를 초래할 수 있는 분야에서 비모수적 HMM의 활용을 지지한다.