[논문 리뷰] Stable Recurrent Models

J. J. Miller, Moritz Hardt|arXiv (Cornell University)|2018. 05. 25.

Model Reduction and Neural Networks참고 문헌 29인용 수 72

한 줄 요약

논문은 안정적인 순환 모델을 정의하고, 추론 및 그래디언트 기반 학습 모두에 대해 피드포워드 네트워크로 잘 근사될 수 있음을 보이고, 여러 시퀀스 태스크에 걸쳐 안정적 변형이 불안정한 변형과 비슷한 성능을 보인다고 경험적으로 보여준다.

ABSTRACT

Stability is a fundamental property of dynamical systems, yet to this date it has had little bearing on the practice of recurrent neural networks. In this work, we conduct a thorough investigation of stable recurrent models. Theoretically, we prove stable recurrent neural networks are well approximated by feed-forward networks for the purpose of both inference and training by gradient descent. Empirically, we demonstrate stable recurrent models often perform as well as their unstable counterparts on benchmark sequence tasks. Taken together, these findings shed light on the effective power of recurrent networks and suggest much of sequence learning happens, or can be made to happen, in the stable regime. Moreover, our results help to explain why in many cases practitioners succeed in replacing recurrent models by feed-forward models.

연구 동기 및 목표

• 안정적인 순환 모델의 형식적 정의를 제공하고 일반적인 아키텍처(RNN 및 LSTM) 전반에 대한 안정성에 대한 충분 조건을 확립한다.
• 안정한 순환 모델이 추론 및 그래디언트 하강 기반 학습을 위한 피드포워드 네트워크로 근사될 수 있음을 입증한다.
• 다양한 시퀀스 태스크에서 안정 대 불안정 모델을 실험적으로 평가하여 안정성의 실용적 시사점을 분석한다.

제안 방법

• 수렴성으로 안정성 정의: 존재하는 λ < 1로 ||phi_w(h,x) - phi_w(h',x)|| <= λ ||h - h'||가 모든 h,h',x에 대해 성립한다.
• Lipschitz 비선형성의 RNN 및 LSTM에 대한 충분한 안정성 조건 도출 및 안정성을 강제하기 위한 프로젝션 기반 학습 단계를 포함한다.
• 안정성 하에서 순환 모델과 그 제한된 컨텍스트(k-단계) 피드포워드 근사치가 추론에서 유사한 값을 산출함을 보인다(y_t ≈ y_t^k).
• 안정성이 있을 때 순환 모델에 대한 경사하강이 자르고 가지 않는 모델의 경사하강을 밀접하게 추적하여 N단계 이후 가중치 차이가 유한함을 보인다.
• 학습 중 안정성을 강제하기 위한 학습 시 프로젝션 스킴(링크된 RNN의 스펙트럼 놈 프로젝션; LSTM의 행 정규화)을 제공한다.

실험 결과

연구 질문

• RQ1 안정적인 순환 모델이 추론과 학습 모두에서 유한 컨텍스트 피드포워드 네트워크로 이론적으로 근사될 수 있는가?
• RQ2 일반적인 순환 아키텍처(RNN 및 LSTM)에 대해 안정성을 보장하기 위한 실용적 충분 조건은 무엇인가?
• RQ3 표준 시퀀스 태스크에서 안정한 변형이 불안정한 모델과 비교해 유사한 성능을 유지하는가?
• RQ4 학습 중 안정성을 강제하는 것이 순환 모델의 장기 기억에 본질적으로 한계를 두는가?

주요 결과

Model	Sequence Task	Dataset (measure)	Unstable	Stable	Unstable	Stable
RNN	Polyphonic Music	JSB Chorales (nll)	8.9	8.9	8.5	8.5
LSTM	Slot-Filling	Atis (F1 score)	94.7	94.7	95.1	94.6
RNN	Word-level LM	Wikitext-2 (perplexity)	146.7	143.5	95.7	113.2
LSTM	Character-level LM	Penn Treebank (bpc)	1.8	1.9	1.4	1.9

• 안정적 순환 모델은 은닉 상태 업데이트에서 수축적(contractive)이어서 그래디언트가 유계되고 학습 가능성이 향상된다.
• 안정성 하에서 RNN과 LSTM은 추론을 위한 유한 컨텍스트 피드포워드 모델로 근사될 수 있으며, 학습은 그라디언트 하강으로 근사 가능하고 컨텍스트 길이가 커질수록 근사 closeness가 입증된다.
• 다양한 태스크(언어 모델링, 폴리포닉 음악, 슬롯 채우기)에서 안정적 모델은 불안정한 모델과 비교해 비슷한 성능을 달성하며, 특히 LSTM의 경우 언어 모델링에서 작은 성능 차이가 남는 경우가 있다.
• 실제 데이터에서 수치적으로는 불안정해 보이는 모델도 실제로는 안정적인 영역에서 작동하는 경우가 많아 일명 "안정성의 대가"가 불필요할 수 있음을 시사한다.
• 안정 모델에서 장기 기억은 제한되며, 따라서 안정성과 불안정성 간의 유사한 성능은 태스크가 장기 의존성을 요구하지 않음을 시사한다.