[논문 리뷰] TensorDiffEq: Scalable Multi-GPU Forward and Inverse Solvers for Physics Informed Neural Networks

Levi D. McClenny, Mulugeta Haile외 1명|arXiv (Cornell University)|2021. 03. 30.

Model Reduction and Neural Networks참고 문헌 22인용 수 11

한 줄 요약

TensorDiffEq는 TensorFlow 2.x와 Keras를 기반으로 한 완전히 오픈소스이며 다중 GPU를 지원하는 프레임워크로, 과학적 기계학습에서 확장 가능한 전방 및 역방향 물리 기반 신경망(PINN) 해법기를 제공한다. Keras 유사 모델 정의를 통해 고차원 PDE 해법이 가능하고, 사용자 정의 아키텍처를 지원하며, 수렴성을 향상시키기 위해 자가 적응 학습을 도입하여 생산성에 적합하고 모듈러한 단일 GPU 또는 비공개 PINN 도구의 대안을 제공한다.

ABSTRACT

Physics-Informed Neural Networks promise to revolutionize science and engineering practice, by introducing domain-aware deep machine learning models into scientific computation. Several software suites have emerged to make the implementation and usage of these architectures available to the research and industry communities. Here we introduce\linebreak TensorDiffEq, built on Tensorflow 2.x, which presents an intuitive Keras-like interface for problem domain definition, model definition, and solution of forward and inverse problems using physics-aware deep learning methods. TensorDiffEq takes full advantage of Tensorflow 2.x infrastructure for deployment on multiple GPUs, allowing the implementation of large high-dimensional and complex models. Simultaneously, TensorDiffEq supports the Keras API for custom neural network architecture definitions. In the case of smaller or simpler models, the package allows for rapid deployment on smaller-scale CPU platforms with negligible changes to the implementation scripts. We demonstrate the basic usage and capabilities of TensorDiffEq in solving forward, inverse, and data assimilation problems of varying sizes and levels of complexity. The source code is available at https://github.com/tensordiffeq.

연구 동기 및 목표

• 과학적 기계학습 분야에서 완전히 오픈소스이자 확장 가능한 다중 GPU PINN 해법기가 부족한 문제를 해결하기 위해.
• 전방 및 역방향 문제를 모두 지원하는 모듈러하고 확장 가능한 프레임워크를 제공하여 물리 기반 딥 러닝을 활용하기 위해.
• 고성능 다중 GPU에서의 학습을 유지하면서도 Keras API를 통해 사용자 정의 신경망 아키텍처를 정의할 수 있도록 하기 위해.
• 특히 Allen-Cahn과 같은 반선형 방정식에 대해 복잡한 PDE 시스템의 수렴성을 향상시키기 위해 자가 적응 학습 방법을 통해 학습 수렴성을 개선하기 위해.
• 학습된 Keras 모델의 내보내기 및 재사용을 통해 CPU 및 GPU 플랫폼 간의 배포 이식성을 향상시키기 위해.

제안 방법

• 프레임워크는 신경망 아키텍처를 정의하기 위해 Keras 유사 인터페이스를 사용하여 Keras 생태계와의 완전한 통합을 통해 모델 구축 및 최적화를 가능하게 한다.
• PDE 잔차 계산을 위해 TensorFlow 2.x의 자동 미분 기능을 활용하여 신경망 출력의 공간적 및 시간적 도함수를 계산한다.
• 잔차 손실은 물리 기반 제약 조건을 통해 계산되며, r(x,t;w) = N_x,t[u(x,t;w)]로 표현되며, 여기서 u는 네트워크 출력이고 N은 미분 연산자이다.
• 손실 함수는 데이터 손실, 잔차 손실, 경계 조건 손실, 초기 조건 손실을 조합하여 전방 및 역방향 문제 해결을 모두 가능하게 한다.
• 자신 적응 학습은 최적화 도중 손실 구성 요소의 가중치를 동적으로 조정하여 수렴 안정성을 향상시키는 방식으로 구현된다.
• 프레임워크는 TensorFlow의 분포 전략을 활용하여 다중 GPU 학습을 지원하며, 대규모 고차원 PDE 문제에 대한 확장 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전히 오픈소스이자 다중 GPU를 지원하는 PINN 해법기를 Keras 통합을 통해 전방 및 역방향 문제를 모두 해결할 수 있도록 구축할 수 있는가?
• RQ2 자신 적응 학습은 Allen-Cahn과 같은 복잡한 반선형 PDE를 해결할 때 수렴성과 정확성을 어떻게 향상시키는가?
• RQ3 다중 GPU에서의 확장성과 성능을 유지하면서도 사용자 정의 신경망 아키텍처를 PINN 해법기에 얼마나 잘 통합할 수 있는가?
• RQ4 학습된 Keras 모델을 내보내어 이식 가능한 전이 학습과 인퍼런스를 통해 효율적인 배포를 가능하게 할 수 있는가?
• RQ5 TensorDiffEq의 모듈러 설계는 새로운 PDE 유형, 경계 조건, 최적화 전략에 대한 확장성을 어떻게 지원하는가?

주요 결과

• TensorDiffEq는 TensorFlow 2.x와 Keras를 사용하여 PINN에 대한 확장 가능한 다중 GPU 학습을 성공적으로 구현하여 대규모 고차원 PDE의 고성능 해법을 가능하게 한다.
• 프레임워크는 초기 조건 및 경계 조건을 내장 지원함으로써 전방 및 역방향 문제, 특히 PDE 시스템 내의 매개변수 추정 문제를 모두 지원한다.
• TensorDiffEq의 자가 적응 학습 방법은 Allen-Cahn과 같은 도전적인 반선형 PDE에서 표준 콜로케이션 방법이 실패하는 경우에도 수렴성을 크게 향상시킨다.
• Keras 모델의 내보내기 및 저장 기능 덕분에 CPU 플랫폼에서의 전이 학습 및 인퍼런스가 가능해져 배포의 유연성이 향상된다.
• TensorDiffEq는 유일하게 완전한 오픈소스 가용성, 다중 GPU 확장성, Keras API 확장성, 자가 적응 학습을 모두 결합한 알려진 PINN 해법기이다.
• 프레임워크는 기존 Keras 도구와의 원활한 통합을 보이며, 연구자들이 복잡한 물리 기반 문제를 해결하면서도 익숙한 학습 파이프라인을 그대로 사용할 수 있도록 한다.