[논문 리뷰] A semigroup method for high dimensional committor functions based on neural network

Haoya Li, Yuehaw Khoo외 2명|arXiv (Cornell University)|2020. 12. 12.

Model Reduction and Neural Networks참고 문헌 18인용 수 11

한 줄 요약

이 논문은 포화-플랑크 방정식에 의해 지배되는 고차원 공백 함수를 계산하기 위한 새로운 반군 기반 신경망 방법을 제안한다. 포화-플랑크 연산자의 반군을 사용하여 문제를 재구성함으로써, 이 방법은 이阶 도함수를 피하고 경계 조건을 자연스럽게 강제함으로써, 기존 방법에 비해 페널티 파라미터에 덜 민감하고 안정성이 높은 경사 하강법을 통한 효율적인 훈련을 가능하게 한다.

ABSTRACT

This paper proposes a new method based on neural networks for computing the high-dimensional committor functions that satisfy Fokker-Planck equations. Instead of working with partial differential equations, the new method works with an integral formulation based on the semigroup of the differential operator. The variational form of the new formulation is then solved by parameterizing the committor function as a neural network. There are two major benefits of this new approach. First, stochastic gradient descent type algorithms can be applied in the training of the committor function without the need of computing any mixed second-order derivatives. Moreover, unlike the previous methods that enforce the boundary conditions through penalty terms, the new method takes into account the boundary conditions automatically. Numerical results are provided to demonstrate the performance of the proposed method.

연구 동기 및 목표

• 희귀 전이 사건을 가지는 확률적 시스템에서 고차원 공백 함수를 계산할 때 발생하는 차원의 극복 문제를 해결하기 위해.
• 공백 함수를 위한 신경망 훈련에서 혼합 이阶 도함수의 계산이 필요 없도록 하기 위해.
• 페널티 항에 의존하지 않고 경계 조건을 자연스럽게 통합함으로써 훈련 안정성을 향상시키기 위해.
• 신경망을 사용하여 고차원에서 포화-플랑크 방정식을 수치적으로 효율적이고 확장 가능한 방법으로 해결하기 위해.
• 초파rameter 조정에 민감한 기존의 페널티 기반 방법에 대한 강인한 대안을 제공하기 위해.

제안 방법

• 무한소 생성자에 대한 반군을 사용하여 포화-플랑크 방정식을 재구성함으로써 적분 방정식 형태로 변환한다.
• 적분 방정식의 변분 형태는 공백 함수를 딥 신경망으로 매개변수화하여 해결한다.
• 경계 조건은 반군 형태에서 자연스럽게 통합되어 페널티 항이 필요 없게 된다.
• 직접 손실 기능에 대해 확률적 경사 하강법을 적용함으로써 이阶 도함수의 명시적 계산을 피한다.
• 손실에 포함된 적분은 기저가 되는 확률적 과정에서의 몬테카를로 샘플링을 통해 근사한다.
• 이 방법은 게으른 훈련 영역에서 수렴함을 보여주어 훈련 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 반군 기반 적분 형태가 고차원 공백 함수에 대해 PDE 기반 접근 방식을 대체할 수 있는가?
• RQ2 페널티 항 없이도 신경망 매개변수화에서 경계 조건을 자연스럽게 강제할 수 있는가?
• RQ3 이阶 도함수 계산을 제거함으로써 고차원 환경에서 훈련 효율성과 안정성이 향상되는가?
• RQ4 제안된 방법은 페널티 기반 방법과 비교할 때 수렴성과 초파rameter 민감도 측면에서 어떻게 다른가?
• RQ5 정확한 해가 계산이 불가능한 고차원 시스템에서도 이 방법이 정확성을 유지할 수 있는가?

주요 결과

• 경계 조건에 대한 페널티 항에 의존하지 않고 안정적인 훈련을 달성하여 초파rameter 민감도가 감소하였다.
• 이阶 도함수의 명시적 계산을 피함으로써 훈련 과정이 단순화되고 계산 효율성이 향상되었다.
• 긴츠부르크-랜다우 모델에 대한 수치 결과는 1/2-이소표면에서의 전이 확률 분포가 평균 0.5인 정규분포와 일치함을 확인하여 정확도를 입증하였다.
• 1/2-이소표면 근처 120개의 초기점에서의 전이 확률에 대한 경험적 밀도함수와 Q-Q 플롯이 평균 0.5, 분산 1/400인 이론적 정규분포와 밀접하게 일치하였다.
• 온도 T=20 및 T=30에서의 성능이 우수하여, 메타안정 시스템에서의 신뢰성을 입증하였다.
• 이 방법은 확률적 해석을 가진 다른 고차원 PDE에도 일반화 가능하다.