[논문 리뷰] UnICORNN: A recurrent model for learning very long time dependencies

T. Konstantin Rusch, Siddhartha Mishra|arXiv (Cornell University)|2021. 03. 09.

Model Reduction and Neural Networks참고 문헌 51인용 수 11

한 줄 요약

UnICORNN는 2차 미분방정식 시스템의 구조를 유지하는 시간 이산화 기반으로, 기울기의 엄밀한 경계를 보장함으로써 기울기 소실 및 폭발 문제를 완화하는 새로운 순환 신경망 아키텍처를 제안한다. 이 모델은 장기 시계열 작업에서 최고 성능을 기록하며, 시간에 대해 역행 가능하고 메모리 효율적이며, 다양한 벤치마크에서 낮은 분산을 보이며 뛰어난 안정성을 보인다.

ABSTRACT

The design of recurrent neural networks (RNNs) to accurately process sequential inputs with long-time dependencies is very challenging on account of the exploding and vanishing gradient problem. To overcome this, we propose a novel RNN architecture which is based on a structure preserving discretization of a Hamiltonian system of second-order ordinary differential equations that models networks of oscillators. The resulting RNN is fast, invertible (in time), memory efficient and we derive rigorous bounds on the hidden state gradients to prove the mitigation of the exploding and vanishing gradient problem. A suite of experiments are presented to demonstrate that the proposed RNN provides state of the art performance on a variety of learning tasks with (very) long-time dependencies.

연구 동기 및 목표

• 매우 긴 시계열 의존성을 처리하는 RNN에서 기울기 소실 및 폭발 문제(VEGP)를 해결하기 위해
• 메모리 효율적이고 빠르며 시간에 대해 역행 가능한 순환 아키텍처를 설계하기 위해
• 해밀토니안 역학을 활용해 은닉 상태 기울기의 엄밀한 경계를 도출함으로써 장기간의 시퀀스에서 안정적인 훈련을 보장하기 위해
• 기존 RNN보다 장기 의존성 작업에서 슈퍼리아이를 달성하면서도 표현력과 안정성을 유지하기 위해

제안 방법

• 모델는 결합된 진동자 시스템을 모델링하는 2차 미분방정식 시스템에서 유도되며, 은닉 상태는 해밀토니안 역학 시스템에 따라 진화한다.
• 해밀토니안 구조를 유지하고 기울기 안정성을 보장하기 위해 대칭적 적분기를 사용해 ODE 시스템을 이산화한다.
• 활성화 함수(tanh)와 학습 가능한 가중치를 포함하는 시간에 따라 변화하는 해밀토니안 함수를 사용한다.
• 해밀토니안 시스템 내 에너지 보존을 통해 기울기의 경계를 보장함으로써 기하급수적 증가 또는 감쇠를 방지한다.
• 깊은 다층 UnICORNN의 안정성 향상과 성능 향상을 위해 잔차 연결을 도입한다.
• 표현 능력을 향상시키기 위해 다중 스케일 시간단계 벡터를 사용하며, 추론 실험을 통해 그 중요성을 확인한다.

실험 결과

연구 질문

• RQ1 해밀토니안 기반 RNN 아키텍처가 은닉 상태 기울기의 엄밀한 경계를 제공하여 기울기 소실 및 폭발 문제를 완화할 수 있는가?
• RQ2 2차 미분방정식 시스템의 구조를 유지하는 이산화가 메모리 효율적이고, 시간에 대해 역행 가능하며, 빠른 RNN을 만들어낼 수 있는가?
• RQ3 UnICORNN은 LSTM 및 coRNN과 같은 최고 성능 RNN과 비교해 장기 시계열 작업에서 어떻게 성능을 내는가?
• RQ4 잔차 연결과 다중 스케일 시간단계가 깊은 UnICORNN의 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 UnICORNN은 다양한 장기 시계열 작업에서 낮은 분산을 보이며 난수 초기화에 대해 안정적으로 일반화할 수 있는가?

주요 결과

• UnICORNN는 psMNIST, 노이즈가 첨가된 CIFAR-10, IMDB 감성 분류 작업에서 최고 성능을 기록했으며, 각각 256개 유닛에서 psMNIST에서 98.2%의 테스트 정확도, CIFAR-10에서 61.5%, IMDB에서 88.1%를 기록했다.
• 모델는 낮은 표준편차(예: 256개 유닛에서 psMNIST의 경우 0.22%)를 보이며 뛰어난 안정성을 보였고, 이는 안정적인 학습을 의미한다.
• 잔차 연결은 깊은 UnICORNN에서 성능 향상에 크게 기여했으며, CIFAR-10 작업에서 L=5,6일 때 res-UnICORNN이 표준 UnICORNN보다 뛰어난 성능을 보였다.
• 다중 스케일 시간단계 벡터는 필수적이다: 이를 제거하면 성능이 심각하게 떨어지며, 이는 표현 능력 향상에 기여한다는 것을 확인한다.
• 훈련 중 가중치 노름이 경계를 유지함으로써 이론적 기울기 경계가 검증되었고, 아키텍처의 안정성이 확인되었다.
• 예상대로 UnICORNN은 혼돈된 시계열 예측(F=8)에서는 실패한다. 이는 LSTMs와 달리 혼돈된 동역학을 모델링하도록 설계되지 않았기 때문이다.