[논문 리뷰] Data-driven Discovery of Partial Differential Equations for Multiple-Physics Electromagnetic Problem

Bing Xiong, Haiyang Fu외 2명|arXiv (Cornell University)|2019. 10. 24.

Model Reduction and Neural Networks참고 문헌 13인용 수 11

한 줄 요약

이 논문은 희소한 시간-공간 데이터에서 복합 다물리계 전자기계계의 숨겨진 비선형 편미분방정식(PDE)을 발견하기 위해 컨volutional 신경망(CNN)과 희소 회귀, 파레토 분석을 결합한 딥러닝 프레임워크를 제안한다. 이 방법은 전자기계계의 맥스웰 방정식과 플라즈마 전류 보존 방정식을 결합한 경우에 동질성 및 비동질성 계수를 성공적으로 식별하며, 제한된 데이터와 노이즈 조건에서도 높은 정확도를 달성하여 샘플링된 영역을 초월한 일반화 능력을 보여준다.

ABSTRACT

Deriving governing equations in Electromagnetic (EM) environment based on first principles can be quite tough when there are some unknown sources of noise and other uncertainties in the system. For nonlinear multiple-physics electromagnetic systems, deep learning to solve these problems can achieve high efficiency and accuracy. In this paper, we propose a deep learning neutral network in combination with sparse regression to solve the hidden governing equations in multiple-physics EM problem. Pareto analysis is also adopted to preserve inversion as precise and simple as possible. This proposed network architecture can discover a set of governing partial differential equations (PDEs) based on few temporalspatial samples. The data-driven discovery method for partial differential equations (PDEs) in electromagnetic field may also contribute to solve more sophisticated problem which may not be solved by first principles.

연구 동기 및 목표

• 첫 번째 원리적 유도가 비현실적인 복잡하고 비선형적인 다물리계 전자기계계에서의 지배 PDE를 발견하기 위한 데이터 기반 방법을 개발한다.
• 희소한 시간-공간 샘플 데이터로부터 PDE의 동질성 및 비동질성 계수를 정확하게 식별할 수 있도록 한다.
• 측정된 데이터 영역 외부의 매개변수 공간에서도 일반화할 수 있도록 발견된 PDE 모델을 확장한다.
• 신경망 기반 미분과 강건한 희소 회귀 및 파레토 최적화를 조합하여 노이즈가 있는 데이터에서의 과제를 해결한다.
• 기존의 PDE 발견 프레임워크를 확장하여 비선형, 상호연결, 시간에 따라 변화하는 시스템과 비동질성 계수를 다룰 수 있도록 한다. 예: 전자기-플라즈마 상호작용

제안 방법

• 통합된 딥 네트워크 아키텍처는 제약 조건이 부여된 컨volution 필터를 통해 공간 미분을 근사함으로써 전통적인 유한차분을 대체한다.
• 네트워크는 알려지지 않은 PDE 계수를 학습하기 위한 계수 회귀 모듈을 포함하며, 비동질성 항은 삼각함수 급수 형태로 모델링된다.
• 희소 회귀는 후보 함수 사전에서 관련된 항을 선택하여 모델의 단순성과 해석 가능성을 보장한다.
• 파레토 분석은 모델 정확도와 희소성 사이의 균형을 맞추어 민감도와 복잡성의 상호보완적 최적화를 달성한다.
• 신경망 내부에서 자동 미분을 사용하여 해의 도수를 계산함으로써 PDE 발견 과정의 엔드 투 엔드 학습을 가능하게 한다.
• 프레임워크는 제한된 시간-공간 샘플에서 학습되며, 네트워크는 데이터로부터 기반 PDE의 구조를 재구성하도록 학습된다.

실험 결과

연구 질문

• RQ1 첫 번째 원리적 유도가 불가능한 비선형 다물리계 전자기계계에서, 딥러닝 프레임워크가 희소한 데이터로부터 지배 PDE를 발견할 수 있는가?
• RQ2 맥스웰 방정식과 플라즈마 전류 보존과 같은 결합된 PDE에서 동질성 및 비동질성 계수를 얼마나 정확하게 식별할 수 있는가?
• RQ3 학습 데이터 영역 외부에서 물리적 거동을 예측하기 위해 발견된 모델이 얼마나 일반화되는가?
• RQ4 특히 수치 도수 계산이 불안정한 상황에서, 노이즈 조건에 대해 이 방법은 얼마나 강건한가?
• RQ5 희소한 회귀를 통해 학습된 매개변수 텐서에 기반하여, 최소한의 사전 지식으로도 비동질성 계수의 기능 형태를 추론할 수 있는가?

주요 결과

• 모델은 $ A_1 \sin(kz) $ 항을 주요 항으로 성공적으로 식별하였으며, $ A_1 = 0.5036 $로 추정되어 진짜 값인 0.5에 매우 가까웠고, 기대한 대로 다른 항들은 억제되었다.
• 식별된 비동질성 계수 $ \omega_p^2 \sim 0.5036\sin(3.360z) + 0.9951 $ 은 진짜 형태인 $ 0.5\sin(3.142z) + 1 $ 과 유사하게 근사되었으며, 공간 샘플링 범위는 $ z = 240-260 $ 이었다.
• 공간 샘플 20개, 시간 샘플 10개만으로도 비동질성 계수를 정확하게 예측하고 학습 영역 외부로의 일반화를 달성하였다.
• $ 40\,\text{dB} $ SNR 노이즈 조건 하에서 식별된 모델은 $ \omega_p^2 \sim 0.5897\sin(3.360z) + 1.082 $ 로 나타났으며, 중간 정도의 오차는 있었지만 여전히 기능 형태를 잘 포착하였다.
• 신경망 학습과 도수 추정 과정에서 발생하는 오차에도 불구하고, 노이즈가 있는 데이터에서도 PDE 계수를 강건하게 식별하는 데 성공하였다.
• 이 방법은 측정된 데이터 외부의 매개변수 공간 영역으로 일반화되어, 측정된 데이터를 초월한 예측 모델링을 가능하게 하였다.