[논문 리뷰] Learning higher-order sequential structure with cloned HMMs

Antoine Dedieu, Nishad Gothoskar외 4명|arXiv (Cornell University)|2019. 05. 01.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 희소성 제약을 가한 HMM의 변종인 클론(hidden) 맥클로린 모델(CHMM)을 소개한다. CHMM는 동일한 발화에 대해 결정적으로 매핑되는 은닉 상태의 복제를 통해 가변 순서의 순차적 구조를 효율적으로 학습할 수 있도록 한다. CHMM는 n-그램, 시퀀스 메모라이저, LSTMs보다 문자 수준의 언어 모델링에서 성능이 뛰어나며, 지수적 데이터 증가 없이 장거리 의존성과 맥락적 '구멍'을 처리할 수 있다.

ABSTRACT

Variable order sequence modeling is an important problem in artificial and natural intelligence. While overcomplete Hidden Markov Models (HMMs), in theory, have the capacity to represent long-term temporal structure, they often fail to learn and converge to local minima. We show that by constraining HMMs with a simple sparsity structure inspired by biology, we can make it learn variable order sequences efficiently. We call this model cloned HMM (CHMM) because the sparsity structure enforces that many hidden states map deterministically to the same emission state. CHMMs with over 1 billion parameters can be efficiently trained on GPUs without being severely affected by the credit diffusion problem of standard HMMs. Unlike n-grams and sequence memoizers, CHMMs can model temporal dependencies at arbitrarily long distances and recognize contexts with 'holes' in them. Compared to Recurrent Neural Networks and their Long Short-Term Memory extensions (LSTMs), CHMMs are generative models that can natively deal with uncertainty. Moreover, CHMMs return a higher-order graph that represents the temporal structure of the data which can be useful for community detection, and for building hierarchical models. Our experiments show that CHMMs can beat n-grams, sequence memoizers, and LSTMs on character-level language modeling tasks. CHMMs can be a viable alternative to these methods in some tasks that require variable order sequence modeling and the handling of uncertainty.

연구 동기 및 목표

• 표준 HMM이 신용 분산 문제로 인해 실패하는 경우와 같은, 가변 순서의 순차적 의존성을 학습하는 데 도전하는 것.
• n-그램과 시퀀스 메모라이저의 한계를 극복하여, '구멍'(중간에 나타나는 무관한 기호)이 있는 맥락을 모델링할 때 지수적 데이터 증가가 필요로 하는 문제를 해결하는 것.
• 분류 기반 모델인 LSTMs와 달리 불확실성을 자연스럽게 다룰 수 있는 생성 모델을 개발하는 것.
• GPU에서 표준 EM 알고리즘을 사용하여 10억 개 이상의 파라미터를 가진 과잉 결정된 HMM의 효율적 학습과 추론을 가능하게 하는 것.
• 계층적 모델링과 커뮤니티 탐지에 유용한 고차원 그래프를 통해 시간적 의존성의 구조적이고 해석 가능한 표현을 제공하는 것.

제안 방법

• 생물학적 신경 조직과 동적 마르코프 코딩을 영감으로 삼아, 다수의 은닉 상태(클론)가 동일한 발화 상태로 결정적으로 매핑되는 희소성 구조를 발화 행렬에 도입하는 것.
• 학습 알고리즘이 데이터 패턴에 따라 클론을 동적으로 할당할 수 있도록, 각 발화 기호당 분할 용량을 가진 제약된 HMM으로 CHMM를 수학적으로 정의하는 것.
• 표준 기대값 최대화( Baum-Welch) 및 온라인 변종을 사용하여 학습하며, 희소성을 활용해 과잉 결정된 HMM에서 흔히 발생하는 신용 분산 문제를 피하는 것.
• 수렴을 보장하기 위해 $\bar{M}^k$ 라는 잘라내기 연산자를 정의하며, 수축 사상과 리프시츠 연속성에 기반한 이론적 보장을 제공하는 것.
• 근사 오차와 추정 오차를 제한하기 위해 $\psi(k)$ 와 $\epsilon(N,k,\delta)$ 를 사용한 인구 수준 분석을 도입하여 진짜 모델로의 수렴을 증명하는 것.
• 탐욕적 상태 분할을 피하기 위해 초기에 희소 발화 행렬을 설정하고, 학습 과정이 최적의 클론 사용을 결정하도록 하는 것.

실험 결과

연구 질문

• RQ1 희소성 제약이 가미된 HMM 아키텍처가 표준 HMM, n-그램, 또는 LSTMs보다 가변 순서의 순차적 의존성을 더 효율적으로 학습할 수 있는가?
• RQ2 발화 행렬 내의 클론 구조가 과잉 결정된 HMM 학습 중 신용 분산 문제를 완화하는가?
• RQ3 CHMM는 지수적 데이터 증가 없이도 장거리 시간적 의존성과 '구멍'(중간에 나타나는 무관한 기호)이 있는 맥락을 모델링할 수 있는가?
• RQ4 CHMM의 생성적 성격과 해석 가능성은 LSTMs와 같은 분류 기반 모델과 비교해 시퀀스 모델링 과제에서 어떻게 다른가?
• RQ5 CHMM는 하위 작업인 커뮤니티 탐지나 계층적 모델링을 지원하는 고차원 그래프 표현을 생성할 수 있는가?

주요 결과

• CHMM는 여러 개의 영문 텍스트 데이터셋을 사용한 문자 수준 언어 모델링 과제에서 표준 HMM, n-그램, 시퀀스 메모라이저, LSTMs를 모두 능가한다.
• CHMM는 GPU에서 10억 개 이상의 파라미터를 가진 상태에서도 효율적으로 학습되며, 신용 분산 문제에 대해 강인한 성능을 보인다.
• 모델은 약 1000배 과잉 결정되어 있으며, 매우 희소하며, 순차적 생성의 학습된 구조적 표현을 반영한다.
• CHMM는 사전에 순서를 지정하지 않아도 임의로 긴 시간적 의존성을 모델링할 수 있으며, n-그램과 시퀀스 메모라이저와는 달리 이에 해당한다.
• 맥락에 '구멍'(무관한 기호)이 포함되어 있을 경우, CHMM는 지수적 데이터 증가 없이도 성능을 유지하지만, n-그램과 시퀀스 메모라이저는 지수적으로 더 많은 데이터가 필요로 한다.
• 이론적 분석을 통해 CHMM가 진짜 모델로 수렴하는 데 속도 $r^{\textsc{CHMM}}(N,k,\delta) < r^{\textsc{HMM}}(N,k,\delta)$ 를 보이며, 추정 오차와 근사 오차의 더 날카운 제약 조건 덕분이다.