[논문 리뷰] The differential calculus of causal functions

David Sprunger, Bart Jacobs|arXiv (Cornell University)|2019. 04. 24.

Neural Networks and Applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 노름이 부여된 벡터 공간을 피하는 유일한 무한차원 도함수를 정의하여, 시간 순서대로 메모리가 없는 방식으로 무한 순서열에서 무한 순서열로 사상하는 인과 함수에 대한 새로운 미분법을 제안한다. 주요 기여는 엘먼 네트워크와 같은 순환 신경망의 정확하고 구성적인 미분을 가능하게 하는 재귀 규칙을 제공하는 것이다. 이는 수작업 계산과 정확한 국소 근사값을 이용한 기반 기반 학습을 통해 검증되었다.

ABSTRACT

Causal functions of sequences occur throughout computer science, from theory to hardware to machine learning. Mealy machines, synchronous digital circuits, signal flow graphs, and recurrent neural networks all have behaviour that can be described by causal functions. In this work, we examine a differential calculus of causal functions which includes many of the familiar properties of standard multivariable differential calculus. These causal functions operate on infinite sequences, but this work gives a different notion of an infinite-dimensional derivative than either the Fréchet or Gateaux derivative used in functional analysis. In addition to showing many standard properties of differentiation, we show causal differentiation obeys a unique recurrence rule. We use this recurrence rule to compute the derivative of a simple recurrent neural network called an Elman network by hand and describe how the computed derivative can be used to train the network.

연구 동기 및 목표

• 프레셰 또는 게오르지 도함수에 의존하지 않고, 무한 순서열을 다루는 인과 함수에 대한 엄밀한 미분법을 개발하는 것.
• 기존의 타임스탬프 역전파 방법에서 순환 네트워크에 대한 구성 규칙(예: 연쇄법칙, 덧셈 법칙 등)의 부재를 해결하는 것.
• 무한차원 인과 시스템에 대해 유한차원과 유사한 도함수 개념을 수학적으로 타당하게 제공하여 실용적인 기울기 계산을 가능하게 하는 것.
• 이 미분법이 엘먼 네트워크 학습에 어떻게 활용될 수 있는지, 정확한 도함수 계산과 매개변수 갱신을 통해 보여주는 것.

제안 방법

• 인과 함수를 제k번째 출력이 첫 k개의 입력에만 의존하는 함수로 정의하며, 자르기 기반 조건으로 수식화한다.
• 노름이 부여된 공간이 아닌 유한 근사값에 기반한 실수 벡터 순서열에서의 인과 함수에 대한 새로운 도함수 개념을 도입한다.
• 유한 근사값과 재귀적 구조를 이용하여, 덧셈, 곱셈, 연쇄법칙 등 고전적 미분법칙을 인과 함수에 맞게 적응시킨다.
• 재귀적 시스템의 도함수를 계산할 수 있도록 하는 새로운 재귀 규칙(정리 4.16)을 유도하며, 시간에 따라 도함수를 뒤로 전파한다.
• 수작업으로 엘먼 네트워크에 이 미분법을 적용하여, 네트워크 출력이 특정 가중치 매개변수에 대해 도함수를 계산한다.
• 계산된 도함수를 기반으로 기울기 하강 방식으로 매개변수 갱신을 유도하며, 목표 행동으로 수렴하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 노름이 부여된 벡터 공간과 전통적인 함수해석학적 도함수를 피하면서도, 무한 순서열에서 작용하는 인과 함수에 대해 미분법을 정의할 수 있는가?
• RQ2 이 새로운 미분법에서 성립하는 구성 규칙(예: 연쇄법칙, 덧셈 법칙, 곱셈 법칙 등)은 무엇이며, 기존 다변수 미적분학과 어떻게 다를 수 있는가?
• RQ3 순환 신경망과 같은 재귀적 시스템의 효율적이고 정확한 도함수 계산을 가능하게 하는 유일한 재귀 규칙이 존재하는가?
• RQ4 이 미분법은 엘먼 네트워크와 같은 실제 세계의 순환 네트워크 아키텍처에 어떻게 적용될 수 있는가?
• RQ5 비선형적이고 무한차원인 시스템에서 매개변수 갱신에 대해 이 도함수가 얼마나 정확한 국소 근사값을 제공하는가?

주요 결과

• 제안된 도함수는 프레셰 도함수나 게오르지 도함수와 다름을 보이며, 노름이 부여된 공간의 극한이 아닌 유한 근사값에 기반하여 정의된다.
• 이 미분법은 덧셈, 곱셈, 연쇄법칙, 역수 법칙 등 고전적 법칙을 모두 인과적 환경에 맞게 적응시켜 지원한다.
• 재귀적 시스템의 도함수 계산을 유일하게 가능하게 하는 새로운 재귀 규칙(정리 4.16)이 도출되었으며, 이는 시간에 따라 이중수를 전파함으로써 작동한다.
• 이 미분법을 사용해 엘먼 네트워크를 수작업으로 도함수 계산한 결과, 작은 스텝에서는 약 5% 오차로 매개변수 갱신을 정확히 예측함을 확인하여 정확도를 검증하였다.
• 더 큰 매개변수 조정은 도함수 기반으로 유도되었을 때 성능 향상이 더 크지만 오차도 증가(25–65% 오버슈트)하여 선형 근사의 국소 타당성을 확인하였다.
• 이 미분법은 전개 없이도 순환 네트워크에서 정확하고 구성적인 기울기 계산을 가능하게 하여, 타임스탬프 역전파의 이론적 기반을 제공한다.