[논문 리뷰] Overcoming the curse of dimensionality for some Hamilton--Jacobi partial differential equations via neural network architectures

Jérôme Darbon, Gabriel P. Langlois외 1명|arXiv (Cornell University)|2019. 10. 20.

Model Reduction and Neural Networks참고 문헌 140인용 수 7

한 줄 요약

이 논문은 특정 신경망 아키텍처와 고차원에서의 해밀턴-자비의(Hamilton--Jacobi, HJ) 편미분방정식의 점성해 사이에 정확한 수학적 연결을 수립한다. 특정 깊이 있는 잔차 신경망(ReLU 활성화 포함)이 볼록한 초기 조건과 네트워크 파라미터에서 유도된 해밀턴ian을 갖는 HJ 편미분방정식의 해를 정확히 표현함을 증명하며, 격자 기반 방법의 한계를 피하고 차원의 극복 문제(curse of dimensionality) 없이 하드웨어 효율적인 평가가 가능하다.

ABSTRACT

We propose new and original mathematical connections between Hamilton-Jacobi (HJ) partial differential equations (PDEs) with initial data and neural network architectures. Specifically, we prove that some classes of neural networks correspond to representation formulas of HJ PDE solutions whose Hamiltonians and initial data are obtained from the parameters of the neural networks. These results do not rely on universal approximation properties of neural networks; rather, our results show that some classes of neural network architectures naturally encode the physics contained in some HJ PDEs. Our results naturally yield efficient neural network-based methods for evaluating solutions of some HJ PDEs in high dimension without using grids or numerical approximations. We also present some numerical results for solving some inverse problems involving HJ PDEs using our proposed architectures.

연구 동기 및 목표

• 고차원에서 전통적인 격자 기반 수치 방법이 심각하게 제한되는 해밀턴-자비의(HJ) 편미분방정식의 차원의 극복 문제를 해결한다.
• 격자 이산화나 수치 근사 없이 HJ 편미분방정식의 점성해를 계산하는 신경망 기반 방법을 개발한다.
• 특정 잔차 신경망 아키텍처와 HJ 편미분방정식 해의 표현 공식 사이의 정밀한 수학적 상관관계를 수립한다.
• 현대 인공지능 가속기들을 활용하여 전용 신경망 회로를 이용해 HJ 편미분방정식 해를 효율적이고 하드웨어 가속된 방식으로 평가할 수 있도록 한다.
• 제안된 아키텍처를 사용해 매개변수 추정을 위한 HJ 편미분방정식 관련 역문제를 확장한다.

제안 방법

• ReLU 활성화 함수를 갖는 깊이 있는 잔차 신경망의 클래스를 제안하여, 특정 HJ 편미분방정식의 점성해를 정확히 인코딩한다.
• 네트워크 파라미터(가중치 및 편향)를 정의하여 HJ 편미분방정식의 해밀턴ian과 초기 조건이 네트워크 아키텍처에서 직접 유도되도록 한다.
• Lax--Hopf 공식과 Hopf 공식을 사용하여, 네트워크 레이어에 해당하는 함수의 복합함수 형태로 해의 표현을 유도한다.
• 해의 해를 수치 근사 없이 네트워크를 통한 전방 전파를 통해 정확히 계산할 수 있음을 증명한다.
• 스칼라 보존법칙의 엔트로피 해와 HJ 해의 기울기 사이의 등가성을 수립하여, 네트워크 동역학과 PDE 물리학을 연결한다.
• 입력과 시간에 대한 네트워크 출력이 해밀턴ian과 초기 조건을 포함하는 최소-최대 표현을 통해 점성해에 해당함을 입증한다.

실험 결과

연구 질문

• RQ1 특정 신경망 아키텍처가 고차원에서 해밀턴-자비의 편미분방정식의 점성해를 정확히 표현할 수 있는가?
• RQ2 잔차 신경망의 파라미터를 어떻게 HJ 편미분방정식의 해밀턴ian과 초기 조건에 매핑하여 정확한 해 표현을 보장할 수 있는가?
• RQ3 ReLU 활성화를 갖는 잔차 신경망의 전방 전파가 격자 이산화 없이 HJ 편미분방정식의 점성해를 계산하는가?
• RQ4 이러한 아키텍처 기반 상관관계를 통해 고차원 환경에서 격자 없는, 하드웨어 최적화된 HJ 편미분방정식 해의 평가가 가능한가?
• RQ5 이 프레임워크는 동일한 네트워크 구조를 사용해 HJ 편미분방정식과 관련된 역문제를 해결하는 데 확장 가능한가?

주요 결과

• ReLU 활성화를 갖는 깊이 있는 잔차 신경망의 클래스가 볼록한 초기 조건과 네트워크 파라미터에서 유도된 해밀턴ian을 갖는 HJ 편미분방정식의 점성해를 정확히 계산한다.
• 해는 격자 기반 이산화 없이 전방 전파를 통해 계산되며, 기존 수치 방법에서 유래하는 차원의 극복 문제를 피한다.
• 네트워크 아키텍처는 레이어 가중치와 편향이 HJ 편미분방정식의 해밀턴ian과 초기 조건에 직접 대응함으로써 PDE의 물리적 특성을 인코딩한다.
• TPU나 FPGA 기반 가속기와 같은 전용 신경망 하드웨어를 사용해 수치 근사 없이 HJ 편미분방정식 해를 효율적으로 평가할 수 있다.
• 수치 결과는 제안된 신경망 아키텍처를 사용해 HJ 편미분방정식과 관련된 역문제를 해결할 수 있음을 입증한다.
• 이론적 분석을 통해 네트워크 출력이 적절한 파rameter화 하에 Lax--Hopf 공식을 통해 점성해에 정확히 해당함을 증명한다.