[논문 리뷰] Solving for high dimensional committor functions using artificial neural networks

Yuehaw Khoo, Jianfeng Lu외 1명|arXiv (Cornell University)|2018. 02. 28.

Model Reduction and Neural Networks참고 문헌 13인용 수 15

한 줄 요약

이 논문은 확률적 과정에 의해 지배되는 고차원의 커미터 함수를 해결하기 위해 신경망 기반의 방법을 제안한다. 이는 포크너-플랭크 방정식의 변분 최적화를 통해 이루어지며, 신경망을 통해 커미터 함수를 매개변수화하고 몬테카를로 샘플링을 통한 확률적 경사 하강법으로 학습함으로써 복잡한 고차원 시스템에서 중간 정도의 정확도를 달성한다.

ABSTRACT

In this note we propose a method based on artificial neural network to study the transition between states governed by stochastic processes. In particular, we aim for numerical schemes for the committor function, the central object of transition path theory, which satisfies a high-dimensional Fokker-Planck equation. By working with the variational formulation of such partial differential equation and parameterizing the committor function in terms of a neural network, approximations can be obtained via optimizing the neural network weights using stochastic algorithms. The numerical examples show that moderate accuracy can be achieved for high-dimensional problems.

연구 동기 및 목표

• 확률적 과정에서 고차원 포크너-플랭크 방정식을 푸는 데 있어 계산적으로 비가능한 커미터 함수 문제를 해결하기 위해.
• 고차원 전이 경로 이론 문제에 대해 전통적인 유한요소 또는 스펙트럼 방법의 대안으로 확장 가능한 방법을 개발하기 위해.
• 신경망을 커미터 함수의 저차원 매개변수화 도구로 활용하여 계산 비용을 감소시키기 위해.
• 학습된 커미터 함수를 활용해 전이 영역에서의 샘플링 효율성을 향상시키기 위해.

제안 방법

• 학습 가능한 가중치 $ \boldsymbol{\theta} $ 를 가진 신경망 $ q_{\boldsymbol{\theta}}(\textbf{x}) $ 를 사용해 커미터 함수 $ q(\textbf{x}) $ 를 매개변수화한다.
• 포크너-플랭크 방정식을 $ \boldsymbol{\theta} $ 에 대해 에너지 함수를 최소화하는 변분 최적화 문제로 재구성한다.
• 에너지 함수의 적분을 몬테카를로 샘플링을 통해 추정하고, 균형 측도에서 샘플을 추출하여 확률적 경사 하강법을 적용한다.
• 특이성(예: $ \log|\textbf{x} - \textbf{y}| $) 을 신경망 아키텍처에 통합하여 저온 영역에서 급격한 전이를 더 잘 포착할 수 있도록 한다.
• 영역 $ A $ 와 $ B $ 에서의 경계 조건과, 확률적 최적화를 통한 내부 에너지 최소화를 조합하여 네트워크를 학습시킨다.
• 학습된 신경망을 사용해 데이터 밀도가 낮은 전이 영역에서의 강화 샘플링을 이끌어낸다.

실험 결과

연구 질문

• RQ1 기존의 유한요소 방법으로는 해결이 어려운 고차원 커미터 함수를 신경망이 효과적으로 근사할 수 있는가?
• RQ2 네트워크 아키텍처에 물리적 특이성을 포함시키면 저온 영역에서 근사 정확도가 어떻게 향상되는가?
• RQ3 샘플링 품질이 특히 희귀 사건 전이 영역에서 학습된 커미터 함수에 얼마나 큰 영향을 미치는가?
• RQ4 신경망 근사 결과를 활용해 향후 샘플링을 이끌고 분자의 동역학 시뮬레이션에서 수렴성을 향상시킬 수 있는가?

주요 결과

• 거친 멀러 포텐셜에서 $ T = 22 $ 일 때, $ \Omega \setminus A \cup B $ 에서 1.5×10⁵개의 샘플을 사용하여 중간 정도의 정확도를 달성한다(예: $ E_1 = 0.037 $, $ E_2 = 0.036 $).
• 낮은 온도($ T = 22 $) 에서 커미터 함수는 샘플 밀도에 더 민감해지며, 정확한 근사를 달성하기 위해 더 많은 샘플이 필요하다.
• 네트워크 아키텍처에 명시적인 로그 특이성을 포함시키면 특히 경계 근처와 저온 영역에서 근사 정확도가 크게 향상된다.
• 샘플링이 희박할 경우 신경망 근사는 진실값보다 더 날카로운 전이를 생성하는 경향이 있어, 강화 샘플링 전략의 필요성을 시사한다.
• 공심원 구조의 예시에서 특이성을 네트워크에 포함시킨 경우, 비특이성 기반의 경우보다 커미터 함수를 더 정확하게 표현한다.
• 기존 방법이 차원의 저주로 인해 실패하는 고차원 문제에 대해서도 이 방법이 실현 가능함을 입증한다.