[논문 리뷰] Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory

Soon Hoe Lim|arXiv (Cornell University)|2020. 06. 19.

stochastic dynamics and bifurcation참고 문헌 91인용 수 7

한 줄 요약

이 논문은 통계역학의 비평형 반응 이론을 적용하여 연속시간 스토케스틱 순환 신경망(SRNNs)에 대한 볼테라 급수 표현을 유도하며, 그 출력이 재귀적으로 정의된 상관 함수에 의해 결정됨을 밝혀낸다. 핵심 기여는 고정된 은닉층 가중치를 가진 SRNN이 작용하는 보편적인 '반응 특징'—입력 신호의 텐서 서명과 자연스러운 기저의 곱—을 규명한 것이다. 이는 SRNN이 보편적인 힐버트 공간에서의 커널 머신으로 작용할 수 있음을 시사한다.

ABSTRACT

Recurrent neural networks (RNNs) are brain-inspired models widely used in machine learning for analyzing sequential data. The present work is a contribution towards a deeper understanding of how RNNs process input signals using the response theory from nonequilibrium statistical mechanics. For a class of continuous-time stochastic RNNs (SRNNs) driven by an input signal, we derive a Volterra type series representation for their output. This representation is interpretable and disentangles the input signal from the SRNN architecture. The kernels of the series are certain recursively defined correlation functions with respect to the unperturbed dynamics that completely determine the output. Exploiting connections of this representation and its implications to rough paths theory, we identify a universal feature -- the response feature, which turns out to be the signature of tensor product of the input signal and a natural support basis. In particular, we show that SRNNs, with only the weights in the readout layer optimized and the weights in the hidden layer kept fixed and not optimized, can be viewed as kernel machines operating on a reproducing kernel Hilbert space associated with the response feature.

연구 동기 및 목표

• SRNN이 순차적 입력을 어떻게 처리하는지 이해하기 위한 이론적 기반을 제공하기 위해 비평형 통계역학의 도구를 활용한다.
• RNN 동역학에 대한 근본적인 질문을 다루며, 출력이 시간에 따라 입력에 어떻게 반응하는지와 이러한 반응을 뒷받기는 보편적인 메커니즘이 존재하는지 탐구한다.
• SRNN을 볼테라 급수와 경로 서명 이론에 연결하는 엄밀한 수학적 프레임워크를 구축한다.
• 고정된 은닉층 가중치를 가진 SRNN이 반응 특징 공간에서 작용하는 커널 머신으로 간주될 수 있음을 보이며, 이에 해당하는 커널은 무엇인지 규명한다.
• 스토케스틱 동역학, 거친 경로 이론, 커널 방법의 개념을 연결하여 RNN의 해석 가능성을 심화한다.

제안 방법

• 비평형 반응 이론을 사용하여 SRNN 출력에 대한 볼테라 유형의 급수 표현을 유도하며, 비편향 동역학의 상관 함수에서 유도된 커널로 출력을 분해한다.
• 입력 신호와 자연스러운 지지 기저의 텐서 곱으로 구성된 '반응 특징'을 도입하여, 시스템의 기억력과 입력 변화에 대한 민감도를 캐릭터라이즈한다.
• 바나흐 공간 위에서의 미분법과 경로 서명 이론을 활용하여 반응 특징을 보편적인 특징 맵으로 수학적으로 정의한다.
• 은닉층 가중치가 고정되어 있고 읽기 출력 가중치만 학습되는 SRNN이 반응 특징으로 정의된 재생 커널 힐버트 공간(RKHS)에서 커널 머신과 동치임을 증명한다.
• 그론발의 부등식과 리프시츠 연속성과 같은 엄밀한 수학적 분석을 활용하여, 외부 힘에 대한 소용돌이에 대한 안정성과 수렴성을 증명한다.
• 거친 경로 이론과의 연결을 활용하여, 불규칙한 입력 신호에 대해서도 표현이 안정적이고 잘 정의됨을 보장한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 입력 신호에 대해 스토케스틱 순환 신경망의 출력은 어떻게 시간에 따라 반응하는가?
• RQ2 SRNN의 입력-출력 반응을 캐릭터라이즈하는 보편적이고 아키텍처에 의존하지 않는 특징이 존재하는가?
• RQ3 고정된 은닉층 가중치를 가진 SRNN은 커널 머신으로 간주될 수 있으며, 만약 그렇다면 해당 커널은 무엇인가?
• RQ4 출력 기능의 수학적 구조는 입력 신호와 네트워크 동역학에 대해 어떻게 기술되는가?
• RQ5 반응 특징은 비선형 동역학계의 맥락에서 경로 서명과 볼테라 급수 표현과 어떻게 관련되어 있는가?

주요 결과

• 연속시간 SRNN의 출력은 비편향 동역학의 상관 함수로 재귀적으로 정의된 커널을 가지는 볼테라 급수로 표현될 수 있다.
• 반응 특징—입력 신호의 서명과 자연스러운 기저의 조합—은 보편적인 특징 맵으로 작용하여, SRNN의 반응이 특정 은닉층 아키텍처에 의존하지 않음을 보여준다.
• 은닉층 가중치가 고정되어 있고 읽기 출력 가중치만 최적화되는 SRNN은 반응 특징을 커널로 사용하는 재생 커널 힐버트 공간(RKHS)에서 작용하는 커널 머신과 동치이다.
• 반응 특징은 입력 신호의 반복 이토 적분과 수학적으로 동치이며, 이는 SRNN이 거친 경로 이론과 연결되어 불규칙한 입력에 대해 안정성을 확보함을 의미한다.
• 드리프트 함수와 읽기 출력 함수의 소규모 변화에 대해서도 출력 기능이 안정적이며, 그 이유는 그론발의 부등식과 리프시츠 연속성의 논증을 통해 입증된다.
• 이론적 프레임워크는 SRNN 동역학에 대해 엄밀하고 해석 가능하며 보편적인 기술을 제공하여, 더 깊은 분석과 체계적인 순환 아키텍처 설계를 가능하게 한다.