[논문 리뷰] Simplified Long Short-term Memory Recurrent Neural Networks: part III

Atra Akandeh, Fathi M. Salem|arXiv (Cornell University)|2017. 07. 14.

Neural Networks and Applications참고 문헌 6인용 수 6

한 줄 요약

이 논문은 셀 상태 업데이트에서 가중치 행렬을 학습 가능한 벡터로 대체하고, 매개변수 수를 줄이기 위해 히드라드(Hadamard, 요소별) 곱셈을 적용함으로써 두 가지 새로운 계산 효율적인 LSTM 변종—LSTM10과 LSTM11—을 제안한다. 이 모델들은 표준 LSTM과 유사한 안정성과 성능을 유지하면서도 자원이 제한된 환경에서 특히 뛰어난 성능을 보이며, 최대 95.31%의 테스트 정확도를 달성하고 계산 부담을 크게 감소시킨다. 활성화 함수로 tanh나 sigmoid를 사용할 경우 표준 LSTM과 비교해도 성능에 큰 영향을 주지 않는다.

ABSTRACT

This is part III of three-part work. In parts I and II, we have presented eight variants for simplified Long Short Term Memory (LSTM) recurrent neural networks (RNNs). It is noted that fast computation, specially in constrained computing resources, are an important factor in processing big time-sequence data. In this part III paper, we present and evaluate two new LSTM model variants which dramatically reduce the computational load while retaining comparable performance to the base (standard) LSTM RNNs. In these new variants, we impose (Hadamard) pointwise state multiplications in the cell-memory network in addition to the gating signal networks.

연구 동기 및 목표

• 자원 제약이 있는 환경에 배포하기 위해 표준 LSTM 네트워크의 계산 부담을 줄이기 위해.
• 게이팅 메커니즘을 초월한 매개변수 감소 전략을 탐색하며, 주로 셀 메모리 네트워크에 초점을 맞추기 위해.
• 셀 상태 업데이트에서 가중치 행렬을 벡터로 대체하고 히드라드 곱셈 연산을 적용했을 때의 영향을 평가하기 위해.
• 모델 복잡성과 추론 시간을 크게 줄이면서도 높은 성능를 유지하기 위해.

제안 방법

• 셀 상태 업데이트의 가중치 행렬 $ U_c $ 를 학습 가능한 벡터 $ u_c $ 로 대체하여 은닉 상태와의 요소별 곱셈을 가능하게 한다.
• 게이팅 신호에 대해 히드라드(요소별) 곱셈을 적용하기 위해 은닉 상태 상호작용에 사용되는 가중치 행렬 대신 학습 가능한 벡터 $ u_i, u_f, u_o $ 를 사용한다.
• 게이팅 식에 편향 항이 없는 LSTM10과, 게이팅 신호에 편향 항을 재활용한 LSTM11을 구성한다.
• 표준 활성화 함수(tanh, sigmoid, ReLU)를 사용하고, Keras를 활용해 RMProp 옵timizer와 분류 교차 엔트로피 손실 함수를 사용해 MNIST에서 모델을 훈련시킨다.
• 다양한 학습률 $ \eta $, 활성화 함수, 모델 변종을 대상으로 성능을 평가하여 안정적인 설정을 규명한다.

실험 결과

연구 질문

• RQ1 LSTM 셀 상태 업데이트에서 가중치 행렬 $ U_c $ 를 학습 가능한 벡터로 대체하면 성능 저하 없이 계산 비용을 크게 줄일 수 있는가?
• RQ2 게이팅 및 셀 상태 식 모두에서 은닉 상태에 대해 히드라드 곱셈을 적용할 경우 모델 정확도와 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 다양한 활성화 함수(tanh, sigmoid, ReLU)가 단순화된 LSTM 변종, 특히 LSTM10의 성능에 미치는 영향은 무엇인가?
• RQ4 학습률 $ \eta $ 를 조정하면 단순화된 모델, 특히 ReLU 활성화를 사용한 LSTM10의 성능을 향상시킬 수 있는가?
• RQ5 제안된 변종(LSTM10과 LSTM11)이 표준 LSTM과 기준 bRNN(LSTM6)에 비해 정확도, 매개변수 수, 훈련 시간 측면에서 어떻게 비교되는가?

주요 결과

• LSTM11는 tanh 활성화 함수와 $ \eta = 0.004 $ 를 사용할 때 95.31%의 테스트 정확도를 달성하여 표준 LSTM과 유사한 뛰어난 성능을 보였다.
• ReLU 활성화 함수를 사용한 LSTM10는 $ \eta = 0.001 $ 에서만 52.26%의 테스트 정확도를 기록했고, 더 높은 $ \eta $ 를 사용할수록 성능이 악화되었다. 이는 수렴이 효과적으로 이루어지지 않았음을 의미한다.
• 매개변수 수는 표준 LSTM의 52,610개에서 LSTM11의 4,610개, LSTM10의 4,310개로 크게 감소하여 계산 부담이 크게 낮아졌다.
• 에포크당 훈련 시간은 표준 LSTM의 30초에서 LSTM10의 18초, LSTM11의 19초로 단축되어 추론 효율성이 향상됨을 보여주었다.
• 모든 활성화 함수에서 LSTM11는 LSTM10를 능가했으며, 특히 ReLU 활성화 함수에서 $ \eta = 0.005 $ 일 때 95.82%의 테스트 정확도를 기록하여 게이팅 신호의 편향 항이 중요한 영향을 미친다는 점을 시사했다.
• LSTM11에서 ReLU 활성화 함수를 사용할 경우 $ \eta = 0.005 $ 로 설정했을 때 96.35%의 최고 테스트 정확도를 달성하여, 학습률 조정이 단순화된 모델의 성능을 복구하는 데 기여할 수 있음을 보여주었다.