[논문 리뷰] Improving the Performance of the LSTM and HMM Model via Hybridization

Larkin Liu, Yu-Chung Lin외 1명|arXiv (Cornell University)|2019. 07. 09.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 은닉 마크로프 모델(HMM)과 장기 단기 기억(LSTM) 네트워크 간의 구조적 유사성을 활용하여 언어 모델링 성능을 향상시키는 하이브리드 모델링 접근법을 제안한다. 은닉 상태 확률 분포를 분석함으로써 저자들은 HMM이 특히 낮은 은닉 상태 차원에서 LSTM 행동을 효과적으로 근사할 수 있음을 보여주며, 이는 HMM과의 하이브리드화를 통해 LSTM 학습의 단순화 또는 향상 가능성을 시사한다.

ABSTRACT

Language models based on deep neural networks and traditional stochastic modelling have become both highly functional and effective in recent times. In this work, a general survey into the two types of language modelling is conducted. We investigate the effectiveness of the Hidden Markov Model (HMM), and the Long Short-Term Memory Model (LSTM). We analyze the hidden state structures common to both models, and present an analysis on structural similarity of the hidden states, common to both HMM's and LSTM's. We compare the LSTM's predictive accuracy and hidden state output with respect to the HMM for a varying number of hidden states. In this work, we justify that the less complex HMM can serve as an appropriate approximation of the LSTM model.

연구 동기 및 목표

• 시계열 언어 데이터를 모델링하는 데 있어 HMM과 LSTM 간의 구조적 및 기능적 유사성을 조사하기 위해.
• 더 간단한 HMM이 더 복잡한 LSTM 모델의 효과적인 근사치로 기능할 수 있는지 평가하기 위해.
• HMM과 LSTM 아키텍처를 하이브리드화하여 예측 정확도 향상과 학습 안정성 향상을 도모하기 위해.
• HMM 및 LSTM 프레임워크 내에서 은닉 상태 차원과 모델 성능 간의 관계를 분석하기 위해.
• HMM을 사용하여 LSTM 학습의 단순화 또는 향상 가능성을 구조적 근사화를 통해 탐색하기 위해.

제안 방법

• 저자들은 동일한 텍스트 시퀀스를 사용하여 HMM과 LSTM의 은닉 상태 확률 분포를 코사인 유사도로 비교한다.
• 다양한 은닉 상태 수(nh)로 LSTM을 학습하고, 그 전방 전파 출력 결과를 HMM의 은닉 상태 확률과 비교한다.
• HMM은 식 (2)와 (3)에 정의된 바와 같이 전방 및 후방 확률을 사용하여 Baum-Welch 알고리즘으로 학습된다.
• 모델 성능 평가에는 교차 엔트로피 손실 J(θ)를 사용하며, 주요 평가 지표로는 로그우도 ℒ(θ) = -J(θ)를 사용한다.
• HMM과 LSTM의 은닉 상태 확률 벡터 간의 코사인 거리 Δ(ΨH, ΨL)를 계산하여 구조적 유사성을 정량화한다.
• 실험은 워 앤 페이스(WP) 데이터셋을 포함한 여러 코퍼스에서 수행되었으며, 학습 및 검증에는 미니배치 SGD(m=64)를 사용한다.

실험 결과

연구 질문

• RQ1 HMM과 LSTM의 은닉 상태 확률 분포가 어느 정도 구조적 유사성을 보이는가?
• RQ2 예측 성능와 은닉 상태 다이내믹스 측면에서 HMM이 LSTM의 타당한 근사치로 기능할 수 있는가?
• RQ3 은닉 상태 수(nh)가 HMM과 LSTM의 은닉 상태 간 코사인 유사성에 어떤 영향을 미치는가?
• RQ4 LSTM의 은닉 상태 수를 늘릴수록 예측 정확도가 일관되게 향상되는가, 아니면 포화점이 존재하는가?
• RQ5 HMM과 LSTM 모델의 하이브리드화가 학습 안정성 또는 성능 향상에 기여할 수 있는가?

주요 결과

• 워 앤 페이스와 같은 복잡한 코퍼스의 경우, HMM과 LSTM의 은닉 상태 확률 벡터 간 코사인 유사도 Δ(ΨH, ΨL)가 15~35개 은닉 상태 범위에서 증가하여 중간 차원에서 더 강한 구조적 일치를 나타낸다.
• 워 앤 페이스 데이터셋의 경우, 교차 엔트로피 손실 J(θ)가 nh=5일 때 3.950에서 nh=35일 때 3.359로 감소하여 복잡도 증가에 따라 예측 정확도 향상을 보였다.
• 모델 복잡도가 증가하더라도 LSTM 성능이 단순히 향상되지 않으며, 예를 들어 WP 데이터셋에서 nh=15일 때 J(θ)=3.678에서 nh=25일 때 J(θ)=3.497로 약간 증가하여 비선형적 관계가 있음을 시사한다.
• 소규모 층 구조의 네트워크에서 병렬 처리 기회가 제한되어 있어 GPU를 사용할 경우 HMM이 LSTM보다 학습 속도에서 뛰어난 성능을 보였다.
• 저자들은 HMM이 특히 낮은 차원에서 LSTM 행동을 효과적으로 근사할 수 있음을 관찰하였으며, 이는 하이브리드 모델의 가능성에 대한 지원을 제공한다.
• 연구는 HMM이 LSTM의 적절한 근사치로 사용될 수 있으며, 이는 하이브리드 아키텍처에서의 단순화 또는 성능 향상 가능성을 시사한다.