[논문 리뷰] The unreasonable effectiveness of the forget gate

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|2018. 04. 13.

Low-power high-performance VLSI design참고 문헌 39인용 수 71

한 줄 요약

JANET, chrono 초기화가 적용된 forget-gate-만 있는 LSTM 변형은 MNIST, permuted MNIST, 및 MIT-BIH 데이터셋에서 표준 LSTM의 성능과 같거나 이를 상회하며 계산 비용도 줄여 줍니다.

ABSTRACT

Given the success of the gated recurrent unit, a natural question is whether all the gates of the long short-term memory (LSTM) network are necessary. Previous research has shown that the forget gate is one of the most important gates in the LSTM. Here we show that a forget-gate-only version of the LSTM with chrono-initialized biases, not only provides computational savings but outperforms the standard LSTM on multiple benchmark datasets and competes with some of the best contemporary models. Our proposed network, the JANET, achieves accuracies of 99% and 92.5% on the MNIST and pMNIST datasets, outperforming the standard LSTM which yields accuracies of 98.5% and 91%.

연구 동기 및 목표

• LSTM의 모든 게이트가 필요한지 여부를 forget-gate-만 있는 아키텍처를 평가하여 조사한다.
• 벤치마크 데이터셋에서 JANET의 성능을 표준 LSTM 및 다른 RNN 변형들과 비교 평가한다.
• 훈련 안정성과 기억 유지에서 chrono 초기화의 역할을 설명한다.
• JANET이 LSTM에 비해 이론적 계산 및 메모리 절감을 정량화한다.

제안 방법

• 입력 게이트와 출력 게이트를 LSTM에서 제거하고 입력/forget 조절(f_t 및 c_t 업데이트)을 결합하여 JANET를 도출한다.
• h_t의 tanh를 제거하여 불필요한 그래디언트 감쇠를 방지하고 정보 축적을 강조하기 위해 선택적 베타 기반 오프셋을 적용한다.
• forget 게이트와 input 게이트에 chrono 초기화를 적용하여 T_max를 기반으로 잊어버림의 시간 상수를 제어한다.
• JANET과 LSTM을 비교하는 이론적 그래디언트 분석을 제공하여 학습 용이성과 그래디언트 흐름을 설명한다.
• LSTM과 유사한 정확도를 가정할 때 매개변수 수, 메모리 풋프린트 및 순전파 계산을 포함한 근사 하드웨어 절감을 계산한다.

실험 결과

연구 질문

• RQ1 JANET의 forget-gate-만 아키텍처가 다양한 작업에서 표준 LSTM의 성능과 같거나 이를 능가할 수 있는가?
• RQ2 chrono 초기화 스킴이 JANET/LSTM 변형의 학습 안정성 및 기억 유지에 도움이 되는가?
• RQ3 정방향 패스에서 LSTM을 JANET으로 교체할 때 실제적인 계산 및 메모리 절감은 어느 정도인가?
• RQ4 JANET과 LSTM이 표준 벤치마크에서 그래디언트 전파 및 최적화 난이도에서 어떻게 비교되는가?

주요 결과

모델	MNIST	pMNIST	MIT-BIH
JANET	99.0 ± 0.120	92.5 ± 0.767	89.4 ± 0.193
LSTM	98.5 ± 0.183	91.0 ± 0.518	87.4 ± 0.130
RNN	10.8 ± 0.689	67.8 ± 20.18	73.5 ± 4.531
uRNN (Arjovsky et al., 2016)	95.1	91.4	-
iRNN (Le et al., 2015)	97.0	82.0	-
tLSTM a (He et al., 2017)	99.2	94.6	-
stanh RNN b (Zhang et al., 2016)	98.1	94.0	-

• JANET은 MNIST에서 99.0%, pMNIST에서 92.5%, MIT-BIH에서 89.4%를 달성하여 표준 LSTM의 98.5%, 91.0%, 87.4%에 비해 각각 더 우수하다.
• 입력-망각 결합으로 forget 게이트 하나로 축소하고 h_t 비선형성을 제거하면 데이터셋 전반에서 경쟁력 있는 또는 더 뛰어난 정확도가 달성된다.
• JANET 아키텍처는 시간에 걸친 건너뛰기와 같은 연결을 가능하게 하여 LSTM에 비해 더 쉽고 빠른 학습에 기여한다.
• JANET은 LSTM의 매개변수 수가 대략 절반 수준이고 순전파 계산은 LSTM의 약 5/6로 추정되며, 이는 하드웨어 효율성 향상을 시사한다.
• forget(및 반대) 게이트 바이어스의 chrono 초기화는 기억 유지 문제를 완화하고 더 긴 시퀀스(예: MNIST 부분 시퀀스)에서 학습을 돕는다.
• 더 큰 계층 크기에서 chrono 초기화 하에 JANET은 pMNIST에서 WaveNet과 같은 최상위 모델과의 성능 격차를 좁히거나 이에 상응한다.