[논문 리뷰] AntisymmetricRNN: A Dynamical System View on Recurrent Neural Networks

Bo Chang, Minmin Chen외 2명|arXiv (Cornell University)|2019. 02. 26.

Neural Networks and Applications인용 수 86

한 줄 요약

이 논문은 ODE 안정성 프레임워크에서 AntisymmetricRNN을 도출하여 잘 정의된 다이나믹스와 더 적은 매개변수로 장기 의존성 모델링을 가능하게 하며, 장기 과제에서 LSTM보다 우수함.

ABSTRACT

Recurrent neural networks have gained widespread use in modeling sequential data. Learning long-term dependencies using these models remains difficult though, due to exploding or vanishing gradients. In this paper, we draw connections between recurrent networks and ordinary differential equations. A special form of recurrent networks called the AntisymmetricRNN is proposed under this theoretical framework, which is able to capture long-term dependencies thanks to the stability property of its underlying differential equation. Existing approaches to improving RNN trainability often incur significant computation overhead. In comparison, AntisymmetricRNN achieves the same goal by design. We showcase the advantage of this new architecture through extensive simulations and experiments. AntisymmetricRNN exhibits much more predictable dynamics. It outperforms regular LSTM models on tasks requiring long-term memory and matches the performance on tasks where short-term dependencies dominate despite being much simpler.

연구 동기 및 목표

• 동적 시스템 관점에서 RNN 학습 가능성 이슈(발산/소멸 그래디언트)를 동적 시스템으로 동기화해 문제를 제시한다.
• 비대칭 ODE를 이산화하여 안정성 특성을 가진 재귀 아키텍처를 설계한다.
• 결과적으로 AntisymmetricRNN이 더 적은 매개변수로 장기 의존성 포착 성능을 달성함을 보인다.
• LSTM 및 기타 기준 모델에 비해 장거리 시퀀스 과제에서의 실험적 이점을 입증한다.

제안 방법

• 숨겨진 상태 다이나믹스를 ODE h'(t)=tanh((W_h−W_h^T)h(t)+V_h x(t)+b_h)로 모델링한다.
• 정방향 유한차분법으로 이산화하여 h_t=h_{t-1}+ε tanh((W_h−W_h^T)h_{t-1}+V_h x_t+b_h) 형태를 얻는다.
• 고유이오사이드 행렬 W_h−W_h^T를 사용해 야코비안 고유값이 순수 허수값이 되도록 보장한다(Re(λ)=0).
• 선택적으로 확산 γI를 더해 전진 오일러의 안정성을 보장한다: h_t=h_{t-1}+ε tanh((W_h−W_h^T−γI)h_{t-1}+V_h x_t+b_h).
• 선택적으로 입력 게이트 z_t를 도입하고 게이팅한다: z_t=σ((W_h−W_h^T−γI)h_{t-1}+V_z x_t+b_z) 및 h_t=h_{t-1}+ε z_t∘tanh((W_h−W_h^T−γI)h_{t-1}+V_h x_t+b_h).

실험 결과

연구 질문

• RQ1 RNN 학습 가능성 및 장기 의존성 학습이 안정적/临临临한 ODE 동작과 정렬함으로써 향상될 수 있는가?
• RQ2 순환 가중치에 비대칭 구조를 강제하면 고유값의 실수부가 거의 0에 가까워져 그래디언트 폭주/소실을 완화할 수 있는가?
• RQ3 Diffusion 및 게이팅이 있는 AntisymmetricRNN 변형은 표준 LSTM 및 기타 기준과 비교하여 장거리 시퀀스 과제에서 어떤 차이가 있는가?
• RQ4 확산(γ) 및 게이팅이 안정성, 그래디언트 전파 및 성능에 어떤 영향을 미치는가?

주요 결과

• AntisymmetricRNN은 안정적이고 예측 가능한 다이나믹스를 보이며 그래디언트 이슈를 무거운 계산 오버헤드 없이 완화한다.
• permuted pixel-by-pixel MNIST에서 AntisymmetricRNN은 98.0% (128 units)로 LSTM의 97.3% 대비 더 적은 매개변수로 달성하며, 게이팅을 적용하면 98.8% (128 units)가 된다.
• pixel-by-pixel CIFAR-10에서 AntisymmetricRNN은 256 units 및 36k 매개변수로 LSTM과 일치하고, AntisymmetricRNN w/ gating은 약 37k 매개변수로 LSTM(마지막 행)보다 약간 우수한 62.2% 대 59.7%를 달성한다.
• 노이즈가 첨가된 CIFAR-10(장거리 의존성 과제)에서 LSTM은 학습에 실패하고, γ를 다양한 값으로 설정한 AntisymmetricRNN은 엔드-투-엔드 야코비안 고유값의 크기를 단위 근처로 유지하며 더 긴 시퀀스에서도 학습이 가능하다.
• 변형에 대한 제거 실험은 비대칭 매개변수화가 비구조 가중치보다 성능을 향상시키는 반면, 비대칭 구성 너머에도 다른 안정 조건이 존재할 수 있음을 시사한다.