[논문 리뷰] Physics-Informed Generative Adversarial Networks for Stochastic Differential Equations

Liu Yang, Dongkun Zhang외 1명|arXiv (Cornell University)|2018. 11. 05.

Model Reduction and Neural Networks참고 문헌 32인용 수 59

한 줄 요약

PI-GANs는 확률적 미분방정식(SDE)을 GAN에 인코딩하여 한정된 흩어진 데이터로 forward, inverse, and mixed SDE 문제를 해결하고, WGAN-GP를 활용하여 안정성을 확보합니다. 이 프레임워크는 차원의 저주 없이 고차원 확률 문제를 처리하며 다중 그룹 센서 데이터를 지원합니다.

ABSTRACT

We developed a new class of physics-informed generative adversarial networks (PI-GANs) to solve in a unified manner forward, inverse and mixed stochastic problems based on a limited number of scattered measurements. Unlike standard GANs relying only on data for training, here we encoded into the architecture of GANs the governing physical laws in the form of stochastic differential equations (SDEs) using automatic differentiation. In particular, we applied Wasserstein GANs with gradient penalty (WGAN-GP) for its enhanced stability compared to vanilla GANs. We first tested WGAN-GP in approximating Gaussian processes of different correlation lengths based on data realizations collected from simultaneous reads at sparsely placed sensors. We obtained good approximation of the generated stochastic processes to the target ones even for a mismatch between the input noise dimensionality and the effective dimensionality of the target stochastic processes. We also studied the overfitting issue for both the discriminator and generator, and we found that overfitting occurs also in the generator in addition to the discriminator as previously reported. Subsequently, we considered the solution of elliptic SDEs requiring approximations of three stochastic processes, namely the solution, the forcing, and the diffusion coefficient. We used three generators for the PI-GANs, two of them were feed forward deep neural networks (DNNs) while the other one was the neural network induced by the SDE. Depending on the data, we employed one or multiple feed forward DNNs as the discriminators in PI-GANs. Here, we have demonstrated the accuracy and effectiveness of PI-GANs in solving SDEs for up to 30 dimensions, but in principle, PI-GANs could tackle very high dimensional problems given more sensor data with low-polynomial growth in computational cost.

연구 동기 및 목표

• SDE로 지배되는 forward, inverse, and mixed 확률 문제에 대해 데이터 기반의 통일된 접근법을 음모합니다.
• GAN 아키텍처에 알려진 물리 법칙을 통합하여 제한된 측정으로부터 확률적 항을 학습합니다.
• 고차원 확률 과정과 다중 센서 그룹을 처리할 수 있는 확장 가능한 방법을 개발합니다.

제안 방법

• 두 개의 독립적인 feed-forward 네트워크를 사용하여 k(x;ω)와 u(x;ω)와 같은 확률적 과정을 모델링합니다.
• SDE 및 경계 연산자를 자동미분을 통해 인코딩하여 f(x;ω)와 b(x;ω)에 대한 유도 신경망을 만듭니다.
• 그래디언트 페널티가 있는 WGAN-GP를 적용하여 안정적인 적대적 학습을 수행하고 목표 확률 분포를 근사합니다.
• 다른 센서 그룹의 데이터를 다루고 그룹 간 물리 법칙을 강제하기 위해 다중 데이터 그룹과 판별기를 채택합니다.
• Adagrad/Adam 분석기를 사용하여 데이터 기반의 적대적 손실로 생성기와 판별기를 번갈아 학습합니다.
• 기저 PI-GAN 구조를 변경하지 않고 forward, inverse, 및 mixed 문제로 확장합니다.

실험 결과

연구 질문

• RQ1 PI-GANs가 제한된 정렬되지 않은 센서 데이터로 확률 과정 및 확률 계수를 정확하게 학습할 수 있는가?
• RQ2 GAN 내에 SDE 물리를 인코딩하는 것이 데이터만 사용하는 GAN 대비 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 단일 프레임워크에서 forward, inverse, 및 mixed 확률 문제를 PI-GANs가 해결할 수 있는가?
• RQ4 데이터가 정렬되지 않았거나 이질적인 경우 다중 센서 그룹이 학습에 미치는 영향은 무엇인가?

주요 결과

• WGAN-GP는 다양한 상관 길이 및 센서 수에서 확률 과정의 안정적인 학습 및 분포 매칭을 가능하게합니다.
• 적절한 센서 데이터를 사용하면 PI-GANs는 차원의 저주를 겪지 않고 최대 30차원의 확률 과정을 근사할 수 있습니다.
• 판별기와 생성기 모두에서 과적합이 발생하며, 특히 생성기도 과적합되는 경향이 있어 신중한 학습 및 데이터 관리가 필요합니다.
• 본 방법은 확률 해와 확산 계수의 평균과 표준편차를 벤치마크와 잘 일치하도록 제공합니다.
• 별도 판별기를 사용하는 다중 데이터 그룹을 통해 일치화 요구 없이 다양한 데이터 소스를 활용할 수 있습니다.
• 목표 분포가 저차원 매니폴드에 집중되는 경우(예: 고정 경계 사례)에서 WGAN-GP은 일반 GAN보다 우수합니다.