[논문 리뷰] Improving the Performance of the LSTM and HMM Models via Hybridization

Larkin Liu, Yu‐Chung Lin외 1명|arXiv (Cornell University)|2019. 01. 01.

Topic Modeling참고 문헌 21인용 수 3

한 줄 요약

이 논문은 은닉 마크프로브 모델(HMM)과 장기 단기 기억(LSTM) 네트워크 간의 구조적 유사성을 활용하여 언어 모델링 성능을 햖थ하는 하이브리드 접근법을 제안한다. 공유되는 은닉 상태 역학을 분석함으로써, 더 단순한 HMM이 은닉 상태 수가 적을수록 LSTMs를 효과적으로 근사할 수 있음을 입증한다. 이는 정확도 손실이 크지 않은 채 계산 효율성이 높은 대안을 제공한다.

ABSTRACT

Language models based on deep neural networks and traditional stochastic modelling have become both highly functional and effective in recent times. In this work, a general survey into the two types of language modelling is conducted. We investigate the effectiveness of the Hidden Markov Model (HMM), and the Long Short-Term Memory Model (LSTM). We analyze the hidden state structures common to both models, and present an analysis on structural similarity of the hidden states, common to both HMM's and LSTM's. We compare the LSTM's predictive accuracy and hidden state output with respect to the HMM for a varying number of hidden states. In this work, we justify that the less complex HMM can serve as an appropriate approximation of the LSTM model.

연구 동기 및 목표

• HMM과 LSTM의 은닉 상태 표현 간의 구조적 유사성을 조사하기 위해.
• 다양한 은닉 상태 수를 가진 HMM과 LSTM의 예측 정확도 및 은닉 상태 출력을 평가하기 위해.
• 더 복잡한 LSTM 모델을 대체하기 위해 덜 복잡한 HMM이 실용적인 근사치가 될 수 있는지 판단하기 위해.
• 언어 모델링 과제에서 HMM이 LSTM 성능을 따라잡거나 근접할 수 있는 조건을 규명하기 위해.

제안 방법

• 은닉 상태 구조의 공통점을 규명하기 위해 HMM과 LSTM의 상태 역학 간 비교 분석을 수행한다.
• 다양한 은닉 상태 수에 걸쳐 일관된 실험 설정 하에 두 모델의 예측 정확도 및 은닉 상태 출력을 평가한다.
• HMM이 LSTM의 행동을 얼마나 잘 모방할 수 있는지 평가하기 위해 구조적 유사성 분석을 사용한다.
• 언어 모델링 과제에서 두 모델의 성능을 벤치마킹하여 근사 품질을 정량화한다.

실험 결과

연구 질문

• RQ1 HMM과 LSTM의 은닉 상태 구조는 기능적 유사성 측면에서 어떻게 비교될 수 있는가?
• RQ2 은닉 상태 수가 다양할 때 HMM이 LSTM의 예측 성능을 어느 정도 근사할 수 있는가?
• RQ3 언어 모델링에서 LSTM을 HMM으로 대체할 경우 모델 복잡도와 성능 간의 상충 관계는 어떠한가?
• RQ4 HMM이 LSTM 모델의 효과적인 대체자로 기능할 수 있는 조건은 무엇인가?

주요 결과

• HMM과 LSTM의 은닉 상태 역학은 특히 시간적 의존성 측면에서 상당한 구조적 유사성을 보인다.
• 은닉 상태 수를 적절히 조정하면 HMM이 LSTM과 유사한 예측 정확도를 달성한다.
• 더 단순한 HMM 아키텍처는 낮거나 중간 수준의 은닉 상태 범위에서 LSTM 모델을 효과적으로 근사할 수 있다.
• 이 연구는 정확도 저하가 크지 않은 채 HMM을 언어 모델링에서 계산 효율성이 높은 대안으로 사용할 수 있음을 정당화한다.