[논문 리뷰] Solving for high dimensional committor functions using neural network with online approximation to derivatives.

Haoya Li, Yuehaw Khoo외 2명|arXiv (Cornell University)|2020. 12. 12.

Model Reduction and Neural Networks참고 문헌 6인용 수 4

한 줄 요약

이 논문은 미분 연산자의 셋업을 이용해 포커-플랑크 방정식을 적분형으로 재구성함으로써 고차원의 커밋먼트 함수를 계산하는 신경망 기반 방법을 제안한다. 변분형식은 신경망 파arameterization을 통해 해결되어, 2차 도함수 계산이 필요 없이 확률적 경사하강법 학습이 가능하며, 수치 결과는 고차원 환경에서 이 방법의 효과성을 확인한다.

ABSTRACT

This paper proposes a new method based on neural networks for computing the high-dimensional committor functions that satisfy Fokker-Planck equations. Instead of working with partial differential equations, the new method works with an integral formulation that involves the semigroup of the differential operator. The variational form of the new formulation is then solved by parameterizing the committor function as a neural network. As the main benefit of this new approach, stochastic gradient descent type algorithms can be applied in the training of the committor function without the need of computing any second-order derivatives. Numerical results are provided to demonstrate the performance of the proposed method.

연구 동기 및 목표

• 포커-플랑크 방정식에 의해 지배되는 고차원 커밋먼트 함수를 해결하는 데 있어 발생하는 계산적 과제를 해결하기 위해.
• 기존의 PDE 기반 방법에서 커밋먼트 함수의 2차 도함수 계산이 어려운 문제를 해결하기 위해.
• 신경망과 변분형식을 활용하여 고차원 시스템에 대해 확장 가능하고 효율적인 수치적 방법을 개발하기 위해.
• 헤시안 또는 2차 도함수의 명시적 계산을 피함으로써 커밋먼트 함수의 학습을 확률적 경사하강법을 통해 가능하게 하기 위해.

제안 방법

• 미분 연산자의 세미군을 이용해 포커-플랑크 방정식을 적분 방정식으로 재구성한다.
• 유연한 함수 근사가 가능한 딥 신경망으로 커밋먼트 함수를 파arameterization한다.
• 적분 방정식에서 유도된 변분형식을 통해 기반 기반 최적화가 가능하도록 한다.
• 2차 도함수 계산이 필요 없이 신경망 파arameter를 학습하기 위해 확률적 경사하강법을 적용한다.
• 부분 미분 방정식을 직접 해결하지 않고, 적분 표현과 신경망 함수 근사를 활용함으로써 방법을 개선한다.

실험 결과

연구 질문

• RQ1 직접 부분 미분 방정식을 해결하지 않고도 신경망 기반 방법이 고차원 커밋먼트 함수를 효과적으로 계산할 수 있는가?
• RQ2 세미군 연산자를 통한 적분형식이 고차원에서 안정적이고 정확한 커밋먼트 함수 근사가 가능한가?
• RQ3 변분형식을 통해 2차 도함수 계산을 피할 경우 정확도는 유지되면서 학습 효율성이 향상되는가?
• RQ4 고차원 시스템에 대해 기존의 PDE 기반 접근법과 비교해 성능 면에서 제안된 방법은 어떻게 다른가?

주요 결과

• 제안된 방법은 직접 부분 미분 방정식을 해결하지 않음으로써 고차원 커밋먼트 함수를 성공적으로 계산한다.
• 세미군 기반 적분형식의 사용은 신경망 최적화에 적합한 안정적인 변분형식을 가능하게 한다.
• 학습 과정에서 2차 도함수 요구 조건이 없기 때문에 확률적 경사하강법이 효과적으로 적용될 수 있다.
• 수치 결과는 고차원 테스트 케이스에서 이 방법의 실현 가능성과 성능을 확인하여 계산 가능성을 입증한다.