[논문 리뷰] h-detach: Modifying the LSTM Gradient Towards Better Optimization

Devansh Arpit, Bhargav Kanuparthi외 4명|arXiv (Cornell University)|2018. 10. 06.

Stochastic Gradient Optimization Techniques인용 수 12

한 줄 요약

이 논문은 장기적 의존성을 포착하는 데 핵심적인 세포 상태 경로에서의 기울기 억압을 방지하기 위한 확률적 기울기 수정인 h-detach를 제안한다. 역전파 중에 은닉 상태를 통해 기울기를 확률적으로 차단함으로써, h-detach는 수렴 속도 향상, 하이퍼파ram터에 대한 강건성 향상, 장거리 의존성 태스크에서의 일반화 성능 향상을 이끌어내며, 계산 비용을 증가시키지 않으면서도 원래의 LSTM보다 뛰어난 성능을 발휘한다.

ABSTRACT

Recurrent neural networks are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because EVGP prevents important gradient components from being back-propagated adequately over a large number of steps. We introduce a simple stochastic algorithm ( extit{h}-detach) that is specific to LSTM optimization and targeted towards addressing this problem. Specifically, we show that when the LSTM weights are large, the gradient components through the linear path (cell state) in the LSTM computational graph get suppressed. Based on the hypothesis that these components carry information about long term dependencies (which we show empirically), their suppression can prevent LSTMs from capturing them. Our algorithm\footnote{Our code is available at https://github.com/bhargav104/h-detach.} prevents gradients flowing through this path from getting suppressed, thus allowing the LSTM to capture such dependencies better. We show significant improvements over vanilla LSTM gradient based training in terms of convergence speed, robustness to seed and learning rate, and generalization using our modification of LSTM gradient on various benchmark datasets.

연구 동기 및 목표

• 장기 기억 유지가 필요한 태스크에서 LSTMs의 폭발 및 소실 기울기 문제(EVGP)를 해결하기 위해.
• 큰 LSTM 가중치가 선형 세포 상태 경로를 통해 기울기 성분을 억압함을 규명함으로써 장기적 의존성에 관한 정보를 담고 있음을 밝히기 위해.
• 이 억압을 방지하는 단순하고 효율적인 방법을 제안하여 최적화 안정성과 성능 향상을 도모하기 위해.
• h-detach가 수렴 속도, 학습률 및 가중치 초기화에 대한 강건성, 벤치마크 태스크에서의 일반화 성능 향상에 기여함을 입증하기 위해.

제안 방법

• h-detach는 역전파 중에 LSTM 은닉 상태 $\mathbf{h}_t$ 를 통해의 기울기 흐름을 베르누이 랜덤 변수 $\xi_t$ 를 사용해 확률적으로 차단하는 확률적 메커니즘을 도입한다.
• 이 방법은 기울기 역전파 과정을 수정하여 $\mathbf{h}_t$ 를 통해의 기울기는 확률 $p$ 에서 0으로 설정하고, 세포 상태 $\mathbf{c}_t$ 를 통해의 기울기는 영향을 받지 않도록 한다.
• 이 확률적 차단은 기대값 기반으로 세포 상태 경로 성분의 억압을 방지하도록 기울기 업데이트가 조정되도록 보장한다.
• 이 방법은 계산적으로 효율적이며 자동 미분 프레임워크와 호환되며, 백워드 전파만 수정되기 때문에.
• 이론적 분석은 h-detach가 비세포 상태 경로에서 기인하는 기울기 성분을 효과적으로 감쇠시키며, 세포 상태 기여도를 유지함을 보여준다.
• 표준 LSTM 학습에 대한 경량 수정으로서 구현되었으며, 아키텍처 변경이나 추가 파라미터 없이도 가능하다.

실험 결과

연구 질문

• RQ1 왜 큰 가중치를 가진 LSTMs에서 세포 상태 경로를 통해의 기울기가 억압되며, 이는 장기적 의존성 학습에 어떤 영향을 미치는가?
• RQ2 기울기 역전파 과정에 대한 단순한 확률적 수정이 계산 비용 증가 없이 LSTM 최적화를 향상시킬 수 있는가?
• RQ3 세포 상태 기울기의 억압을 방지하면 장수열 태스크에서 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 h-detach는 기울기 클리핑, 어텐션 메커니즘, 유니터리 RNN과 같은 기존 방법들과 성능 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• h-detach는 복사 태스크, 순차적 MNIST, 퍼미uted MNIST에서 기존 LSTM보다 수렴 속도가 빠르게 향상된다.
• 여러 벤치마크에서 가중치 초기화 및 학습률 하이퍼파ram터에 대한 강건성이 향상된다.
• 이미지 캡션 태스크는 장거리 의존성 태스크가 아니지만, h-detach로 학습된 LSTMs는 이미지 캡션 및 순차적 MNIST에서 더 나은 일반화 성능을 달성한다.
• 실험 결과 h-detach는 기울기 클리핑 없이도 안정적인 학습 동역학을 유지함을 보여주며, 기울기 폭발에 대한 민감도가 감소했음을 시사한다.
• 성능 향상의 이유는 장기적 의존성에 관한 정보를 담고 있는 세포 상태 경로를 통해 유지된 기울기 흐름 덕분이다.
• 기타 방법들인 어텐션 또는 보조 손실과 비교할 때 h-detach는 학습 안정성과 수렴 속도 향상에 뛰어나며, 계산 오버헤드도 감소시킨다.