[논문 리뷰] Backpropagation generalized for output derivatives

Vsevolod I. Avrutskiy|arXiv (Cornell University)|2017. 12. 12.

Neural Networks and Applications참고 문헌 16인용 수 6

한 줄 요약

이 논문은 백프로파게이션 알고리즘을 일반화하여 입력에 대한 네트워크 출력의 도함수를 사용해 순환 신경망을 훈련시키며, 미분 연산자의 정확한 계산을 가능하게 한다. 이 방법은 다차원 입력에서 임의의 차수의 도함수를 지원하며, 행렬-벡터 연산을 통해 효율적인 병렬 처리를 구현하고, 수치적 근사 없이 PDE를 해결할 수 있어 기존의 유한 차분 방법에 대한 새로운 정확한 대안을 제공한다.

ABSTRACT

Backpropagation algorithm is the cornerstone for neural network analysis. Paper extends it for training any derivatives of neural network's output with respect to its input. By the dint of it feedforward networks can be used to solve or verify solutions of partial or simple, linear or nonlinear differential equations. This method vastly differs from traditional ones like finite differences on a mesh. It contains no approximations, but rather an exact form of differential operators. Algorithm is built to train a feed forward network with any number of hidden layers and any kind of sufficiently smooth activation functions. It's presented in a form of matrix-vector products so highly parallel implementation is readily possible. First part derives the method for 2D case with first and second order derivatives, second part extends it to N-dimensional case with any derivatives. All necessary expressions for using this method to solve most applied PDE can be found in Appendix D.

연구 동기 및 목표

• 백프로파게이션을 가중치 기울기 외에도 출력이 입력에 대한 도함수로 훈련할 수 있도록 확장하여, 도함수 기반 훈련을 가능하게 한다.
• 정확한 미분 연산자를 사용해 편미분방정식(PDE)을 해결할 수 있는 보편적인 방법을 제시한다.
• 1차, 2차 등 임의의 차수의 도함수와 2차원, N차원 입력을 지원하며, 임의의 매끄러운 활성화 함수를 사용할 수 있다.
• 행렬-벡터 표현을 통해 고성능이고 병렬 처리 가능한 구현을 가능하게 하여 확장 가능한 훈련을 지원한다.
• 기존의 수치적 방법(예: 유한 차분)과는 달리 수치적 점성과 메쉬 기반 이산화를 피하는 비근사적 대안을 제공한다.

제안 방법

• 사슬 법칙과 반복적인 행렬-벡터 곱을 사용해 은닉층을 통한 1차 및 2차 도함수의 전파를 유도한다.
• Faà di Bruno의 공식을 활용해 활성화 함수의 고차 도함수를 계산하는 일반화된 미분 연산자 $\mathbb{D}^S$를 도입한다.
• 자기 유사성 기반의 앙상블 항목인 $W_{(n)(n-1)}^{\theta\kappa}\sigma'(z_{n-1}^\kappa)$를 포함한 자코비안 유사 항목을 사용해 도함수 전파를 행렬-벡터 연산으로 표현한다.
• 고차 도함수를 도함수 인덱스의 분할 집합에 대한 합으로 분해하기 위해 Faà di Bruno의 조합론 공식을 적용한다.
• 출력 도함수에 대한 사슬 법칙을 적용해 가중치 및 편향 기울기 표현을 유도하며, RProp 또는 경사 하강법과 같은 표준 최적화 방법과의 사용을 가능하게 한다.
• 도함수 인덱싱과 연산자 구조를 일반화하여 2차원에서 N차원 입력으로의 프레임워크 확장을 수행한다.

실험 결과

연구 질문

• RQ1 백프로파게이션은 출력 값 외에도 입력에 대한 도함수로 훈련할 수 있도록 일반화될 수 있는가?
• RQ2 이 일반화된 방법은 수치적 근사 없이 정확한 미분 연산자를 계산할 수 있으며, 수치적 점성 등의 문제를 피할 수 있는가?
• RQ3 표준 순환 신경망을 사용해 다차원 입력 공간에서 임의의 차수의 도함수를 위한 통합적이고 확장 가능한 알고리즘을 유도할 수 있는가?
• RQ4 어떻게 하면 행렬-벡터 연산을 활용해 도함수 훈련의 효율적이고 병렬 처리 가능한 구현을 달성할 수 있는가?
• RQ5 이 방법을 사용해 미분 방정식과 경계 조건을 충족하도록 네트워크를 훈련시켜 PDE를 해결할 수 있는가?

주요 결과

• 일반화된 백프로파게이션 알고리즘은 입력에 대한 신경망 출력의 임의의 차수 도함수를 정확하게 계산할 수 있으며, 수치적 근사를 피할 수 있다.
• 이 방법은 임의의 수의 은닉층과 충분히 매끄러운 활성화 함수를 지원하여 광범위한 적용 가능성을 보장한다.
• 도함수 전파가 행렬-벡터 곱으로 구현되어 현대 하드웨어에서 효율적이고 고도로 병렬 처리 가능한 훈련을 가능하게 한다.
• 모든 필요한 도함수의 표현식은 부록 D에 명시되어 있으며, 2차원 및 N차원 경우의 모든 표준 PDE 연산자를 포함한다.
• 이 방법은 직접적으로 미분 방정식을 충족하도록 네트워크를 훈련시켜 메쉬 기반 방법에 대한 메쉬 없는 대안을 제공한다.
• 기존 수치적 해를 개선하기 위해 잔차 오차를 보정하도록 네트워크를 훈련시켜 정확도를 향상시킬 수 있다.