[논문 리뷰] The Recurrent Neural Tangent Kernel

Sina Alemohammad, Zichao Wang외 2명|arXiv (Cornell University)|2020. 06. 18.

Neural Networks and Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 초과파rametrized 순환 신경망(RNN)의 학습 동역학과 일반화를 무한한 너비 근사에서 기반으로 하는 커널 기반 프레임워크인 순환 신경장치 탄성 커널(RNTK)을 소개한다. RNTK가 학습 중에 일정한 형태를 유지함으로써 적절한 초기화를 통해 장기적 의존성 학습이 효과적으로 가능해지고, 분류 및 회귀 작업에서 56개의 실세계 시계열 데이터셋에서 표준 NTK와 유한한 RNN보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

The study of deep neural networks (DNNs) in the infinite-width limit, via the so-called neural tangent kernel (NTK) approach, has provided new insights into the dynamics of learning, generalization, and the impact of initialization. One key DNN architecture remains to be kernelized, namely, the recurrent neural network (RNN). In this paper we introduce and study the Recurrent Neural Tangent Kernel (RNTK), which provides new insights into the behavior of overparametrized RNNs. A key property of the RNTK should greatly benefit practitioners is its ability to compare inputs of different length. To this end, we characterize how the RNTK weights different time steps to form its output under different initialization parameters and nonlinearity choices. A synthetic and 56 real-world data experiments demonstrate that the RNTK offers significant performance gains over other kernels, including standard NTKs, across a wide array of data sets.

연구 동기 및 목표

• 기존에 커널화되지 않았던 순환 신경망(RNN)에 대해 신경장치 탄성 커널(NTK) 프레임워크를 확장하는 것.
• 새로운 분석적 커널인 RNTK를 사용하여 초과파arametrized RNN의 행동을 초과파라미터 수가 무한한 근사에서 분석하는 것.
• RNN의 알려진 기울기 소멸 문제에도 불구하고 RNTK가 순차적 데이터의 장기적 의존성을 효과적으로 포착할 수 있는지 조사하는 것.
• 다양한 시계열 데이터셋에서 RNTK의 일반화 성능을 평가하고, 고전적 커널, NTK, 유한한 DNN과 비교하는 것.
• 시간적 가중치 분석을 통한 RNTK 기반으로 RNN의 하이퍼파ram터 선택에 실용적인 지침을 제공하는 것.

제안 방법

• 임의의 깊이와 시퀀스 길이를 가진 RNN에서 ReLU 및 오차 함수(erf) 비선형성에 대해 RNTK의 분석적 형태를 유도한다.
• RNTK가 경사 하강 흐름 학습 중에 일정하게 유지됨을 증명하여, 초과파라미터 RNN의 학습 동역학을 선형 ODE 시스템으로 단순화함을 보여준다.
• 결합된 가중치와 분리된 가중치 RNN이 무한한 너비 근사에서 동일한 RNTK로 수렴함을 입증하여 커널 동치성을 유지함을 보장한다.
• 다양한 초기화 파ram터와 비선형성이 RNTK 내에서 시간적 상관관계를 어떻게 가중치를 부여하는지 분석하여 장기적 의존성 추출 메커니즘을 규명한다.
• RNTK를 커널 분류 및 회귀에 활용하며, RNTK 특징을 사용한 SVM을 통해 고전적 커널과 유한한 DNN 대비 성능을 벤치마크한다.
• 합성 및 실세계 시계열 데이터(56개 데이터셋)를 사용하여 다양한 시퀀스 길이와 작업 유형에서 RNTK 성능을 검증한다.

실험 결과

연구 질문

• RQ1 표준 RNN의 기울기 소멸 문제에도 불구하고 RNTK는 두 입력 시퀀스 간의 장기적 의존성을 추출할 수 있는가?
• RQ2 RNN에서 결합된 순환 가중치를 사용할 경우, 분리된 가중치 대비 RNTK의 표현 능력이 감소하는가?
• RQ3 RNTK는 고전적 커널, NTK, 유한한 RNN과 비교해 시계열 분류 및 회귀 작업에서 어떻게 일반화되는가?
• RQ4 다양한 초기화 파ram터와 비선형성은 RNTK 내에서 입력 특징의 시간적 가중치에 어떤 영향을 미치는가?
• RQ5 입력 시퀀스 길이가 크게 다를 경우에도 RNTK를 실용적인 커널로 사용할 수 있는가?

주요 결과

• RNTK는 학습 중에 일정하게 유지되어 초과파라미터 RNN의 경사 하강 흐름 동역학을 선형 ODE 시스템으로 기술할 수 있다.
• 적절한 하이퍼파ram터로 초기화할 경우 RNTK는 기울기 소멸 문제를 극복하고 순차적 데이터의 장기적 의존성을 효과적으로 포착한다.
• 결합된 가중치와 분리된 가중치 RNN이 무한한 너비 근사에서 동일한 RNTK로 수렴하므로, 가중치 결합으로 인한 표현력 손실이 없다.
• RNTK는 분류 및 회귀 작업에서 56개의 실세계 시계열 데이터셋에서 고전적 커널, 표준 NTK, 유한한 RNN보다 뛰어난 성능을 보인다.
• 입력 시퀀스 길이의 차이가 클수록 RNTK의 성능 향상이 커지므로, 가변 길이 입력에 대해 강력한 내성적 저항성을 보인다.
• RNTK는 특정 초기화 선택이 학습된 함수에서 시간 단계를 어떻게 가중치를 두는지에 대한 실용적 통찰을 제공한다.