[논문 리뷰] Simplified Long Short-term Memory Recurrent Neural Networks: part II

Atra Akandeh, Fathi M. Salem|arXiv (Cornell University)|2017. 07. 14.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 입력, 기록, 출력 게이트에서의 전체 순환 가중치 행렬을 학습 가능한 벡터로 대체함으로써 적응형 파rameter를 크게 줄인 여섯 가지 단순화된 장기 단기 기억(LSTM) 변종—LSTM4, LSTM5, LSTM4a, LSTM5a, LSTM6—을 제안한다. 이 모델들은 표준 LSTM과 유사한 MNIST 테스트 정확도를 달성하면서도 파rameter 수를 최대 74% 감소시키고, 에포크당 학습 시간을 60% 감소시켰으며, ReLU 활성화 함수를 사용할 경우 높은 학습률에서도 안정적인 성능을 유지한다. 반면 표준 LSTM은 높은 학습률에서 성능이 저하된다.

ABSTRACT

This is part II of three-part work. Here, we present a second set of inter-related five variants of simplified Long Short-term Memory (LSTM) recurrent neural networks by further reducing adaptive parameters. Two of these models have been introduced in part I of this work. We evaluate and verify our model variants on the benchmark MNIST dataset and assert that these models are comparable to the base LSTM model while use progressively less number of parameters. Moreover, we observe that in case of using the ReLU activation, the test accuracy performance of the standard LSTM will drop after a number of epochs when learning parameter become larger. However all of the new model variants sustain their performance.

연구 동기 및 목표

• 표준 LSTM 모델의 계산 비용과 학습 시간을 적응형 파rameter를 최소화함으로써 감소시키는 것.
• MNIST 벤치마크 데이터셋에서 파라미터가 감소한 LSTM 변종의 성능을 평가하는 것.
• 다양한 학습률과 활성화 함수에서 단순화된 LSTMs의 안정성과 정확도를 조사하는 것.
• 단순화된 LSTMs가 훨씬 낮은 복잡성으로도 표준 LSTM 성능을 따라잡을 수 있는지 확인하는 것.
• 고정된 게이트 값이 모델의 안정성과 일반화에 미치는 영향을 탐색하는 것.

제안 방법

• 입력, 기록, 출력 게이트에서 전체 순환 가중치 행렬을 학습 가능한 벡터로 대체하여 점곱 연산을 가능하게 함으로써 LSTM4와 LSTM5를 제안한다.
• 기록 게이트를 0.96, 출력 게이트를 1.0으로 고정하여 적응형 파rameter를 제거함으로써 LSTM4a와 LSTM5a를 도입한다.
• 모든 게이트를 상수 값(기록=0.59, 입력=1.0, 출력=1.0)으로 설정함으로써 LSTM6를 제안하며, 이는 최소한의 파라미터를 가진 기본적인 RNN으로 간주된다.
• Keras 라이브러리를 사용하여 MNIST 데이터셋에서 모든 변종을 순차 기반의 행 기반 입력(28x28 이미지를 28단계의 시퀀스로 처리)으로 학습하고 평가한다.
• tanh, sigmoid, ReLU의 세 가지 활성화 함수를 사용하며, 학습률(η)을 세 가지 값으로 조정하여 모델의 강건성을 평가한다.
• 각 변종의 학습 및 테스트 정확도, 파라미터 수, 에포크당 시간을 기반으로 성능을 비교한다.

실험 결과

연구 질문

• RQ1 적응형 파arameter가 감소한 단순화된 LSTM 변종이 MNIST 데이터셋에서 표준 LSTM과 유사한 테스트 정확도를 달성할 수 있는가?
• RQ2 게이트 값을 고정함(예: 기록 게이트를 0.96 또는 0.59로 설정)하는 것이 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 활성화 함수의 선택(tanh, sigmoid, ReLU)이 단순화된 LSTMs의 성능과 수렴에 영향을 미치는가?
• RQ4 다양한 학습률이 단순화된 LSTMs와 표준 LSTM의 학습 동역학에 어떤 영향을 미치는가?
• RQ5 표준 LSTM이 성능 저하를 보이는 높은 학습률에서도 단순화된 LSTMs가 성능을 유지할 수 있는가?

주요 결과

• 표준 LSTM은 ReLU 활성화 함수를 사용할 경우 높은 학습률(η=2e-3)에서 테스트 정확도가 크게 떨어지지만, 모든 단순화된 변종은 안정적인 성능을 유지한다.
• ReLU 활성화 함수와 η=1e-4를 사용할 경우 LSTM5가 단순화된 변종 중 가장 높은 테스트 정확도(0.9892)를 기록했으며, 표준 LSTM의 0.9853에 근접한다.
• 모든 게이트를 상수로 고정한 LSTM6는 ReLU 활성화 함수와 η=2e-3를 사용할 경우 96.56%의 테스트 정확도를 달성했으며, 적절히 튜닝된 기본 RNN도 경쟁 가능한 성능을 낼 수 있음을 보여준다.
• LSTM4a와 LSTM5a는 다양한 활성화 함수와 학습률에서 가장 일관된 성능을 보였으며, ReLU와 η=2e-3 조건에서 각각 97.92%와 98.21%의 테스트 정확도를 기록했다.
• 표준 LSTM의 파라미터 수 52,610에서 LSTM6로는 13,910으로 감소하여 74% 감소했으며, 에포크당 학습 시간은 60% 감소했다.
• 모든 단순화된 변종은 ReLU 활성화 함수를 사용할 경우 높은 학습률에서도 높은 성능을 유지하지만, 표준 LSTM은 약 50 에포크 이후 성능 저하를 보였다.