[논문 리뷰] Neural Networks with Cheap Differential Operators

Ricky T. Q. Chen, David Duvenaud|arXiv (Cornell University)|2019. 12. 08.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 입력 차원에 관계없이 k차 도함수를 위한 k번의 역방향 자동 미분 실행만으로 차원별 미분 연산자(예: 발산 및 야코비안 대각선)를 효율적으로 계산할 수 있도록 하는 HollowNet이라는 신경망 아키텍처를 소개한다. 조건자와 변환자 컴포넌트로 구성된 이 방법은 차원 간 종속성을 분리하여 이러한 연산자에 정확하고 저비용으로 접근할 수 있게 하며, 암시적 상미분방정식, 연속 정규화 흐름, 그리고 SDE에 대한 포크너-플랭크 매칭을 풀 때 효율성을 크게 향상시킨다.

ABSTRACT

Gradients of neural networks can be computed efficiently for any architecture, but some applications require differential operators with higher time complexity. We describe a family of restricted neural network architectures that allow efficient computation of a family of differential operators involving dimension-wise derivatives, used in cases such as computing the divergence. Our proposed architecture has a Jacobian matrix composed of diagonal and hollow (non-diagonal) components. We can then modify the backward computation graph to extract dimension-wise derivatives efficiently with automatic differentiation. We demonstrate these cheap differential operators for solving root-finding subproblems in implicit ODE solvers, exact density evaluation for continuous normalizing flows, and evaluating the Fokker--Planck equation for training stochastic differential equation models.

연구 동기 및 목표

• 기본 신경망에서 발산 및 야코비안 대각선과 같은 미분 연산자를 계산하는 데 높은 계산 비용이 발생하는 문제를 해결하기 위해.
• 입력 차원에 비례해 계산 복잡도가 증가하지 않는, 효율적이고 확장 가능한 차원별 도함수 접근 방식을 갖춘 신경망 아키텍처를 설계하기 위해.
• 포크너-플랭크 방정식을 매칭하여 SDE의 기능적 매개변수 추정을 효율적으로 수행하기 위해.
• 스토케스틱 미분 방정식(SDE)의 매개변수 추정을 위해 포크너-플랭크 방정식을 매칭하여 SDE의 매개변수 추정을 효율적으로 수행하기 위해.
• 암시적 ODE 솔버를 지원하기 위해 루트 찾기 하위 문제를 저비용으로 계산 가능한 도함수를 통해 효율적으로 계산하기 위해.

제안 방법

• 모든 입력에서 x_i를 제외한 나머지 입력으로부터 은닉 표현 h_i를 계산하는 조건자 네트워크를 구성하여 h_i가 x_i에 독립적이도록 보장한다.
• 변환자 네트워크는 f_i(x) = τ_i(x_i, h_i)를 계산하며, 여기서 τ_i는 x_i와 h_i의 연결을 입력으로 받는 신경망이다.
• 이 아키텍처는 f의 야코비안 행렬을 x_i에서 f_i로의 성분(대각선 성분)과 h_i에서 f_i로의 성분(공백 성분)으로 분해함으로써 도함수의 분리를 가능하게 한다.
• 조건자 네트워크를 통한 기울기 전파를 제거하도록 역방향 계산 그래프를 수정함으로써 오직 차원별 도함수만 유지되며, 단일 역방향 실행을 통해 ∂f_i/∂x_i를 효율적으로 추출할 수 있다.
• 이 방법은 역방향 자동 미분을 활용하지만 기울기 흐름을 오직 대각선 성분으로만 제한함으로써 k차 도함수의 복잡도를 O(d)에서 O(k)로 감소시킨다.
• 이 접근 방식은 표준 딥러닝 연산과 호환되며, 마스크된 가중치 행렬을 통해 완전히 연결된 네트워크와 컨볼루션 아키텍처 모두를 지원한다.

실험 결과

연구 질문

• RQ1 발산 및 야코비안 대각선과 같은 차원별 도함수를 효율적으로 계산할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 입력 차원 d에 관계없이 k차 도함수의 경우 O(d)에서 O(k)로 계산 비용을 감소시킬 수 있는가?
• RQ3 이 아키텍처는 빠른 루트 찾기 하위 문제를 가능하게 하여 강성 있는 암시적 ODE를 효율적으로 풀 수 있는가?
• RQ4 스토케스틱 미분 방정식(SDE)의 매개변수 추정을 위해 포크너-플랭크 방정식을 매칭하여 정확한 밀도 평가를 가능하게 하는가?
• RQ5 희소 관측 조건에서도 포크너-플랭크 방정식 매칭을 통한 SDE 기능적 매개변수 추정을 지원할 수 있는가?

주요 결과

• HollowNet는 입력 차원 d에 관계없이 k차 도함수의 차원별 도함수 계산을 오직 k번의 역방향 자동 미분 실행만으로 수행할 수 있으며, 복잡도를 O(kd)에서 O(k)로 감소시킨다.
• 이 방법은 단일 역방향 실행으로 정확한 발산 및 야코비안 대각선 계산을 달성하여 고차원 문제에 매우 효율적이다.
• 연속 정규화 흐름의 경우, 스토케스틱 추정 기반 밀도 평가 없이 정확한 밀도 평가가 가능해져 훈련의 안정성과 정확도를 향상시킨다.
• SDE 매개변수 추정에서, 포크너-플랭크 매칭을 통한 HollowNet는 희소 데이터 환경에서 이산화 기반 방법이 실패하는 상황에서 의사 최대우도 추정법을 능가한다.
• 희소 관측 조건에서도 다중모달 역학을 정확히 복원할 수 있으며, 정확한 주기적 분포와 삼각함수적 행동을 유지한다.
• 이 방법은 비정상적 데이터에 대해서도 강건하며, 희소 샘플링으로 인해 전통적인 이산화 기반 SDE 추정이 실패하는 상황에서도 정확도를 유지한다.