[논문 리뷰] Data-driven discovery of free-form governing differential equations

Steven Atkinson, Waad Subber외 4명|arXiv (Cornell University)|2019. 09. 27.

Model Reduction and Neural Networks참고 문헌 25인용 수 32

한 줄 요약

데이터에서 미리 용어를 지정하지 않고 지배 미분 방정식을 발견하는 방법으로, differentiable 데이터 모델과 연산자 그래프를 이용한 유전 프로그래밍 기반의 도구, Bayesian 보정 및 활성 학습을 합성 데이터와 초음파 데이터에 적용한 시演 보여주기.

ABSTRACT

We present a method of discovering governing differential equations from data without the need to specify a priori the terms to appear in the equation. The input to our method is a dataset (or ensemble of datasets) corresponding to a particular solution (or ensemble of particular solutions) of a differential equation. The output is a human-readable differential equation with parameters calibrated to the individual particular solutions provided. The key to our method is to learn differentiable models of the data that subsequently serve as inputs to a genetic programming algorithm in which graphs specify computation over arbitrary compositions of functions, parameters, and (potentially differential) operators on functions. Differential operators are composed and evaluated using recursive application of automatic differentiation, allowing our algorithm to explore arbitrary compositions of operators without the need for human intervention. We also demonstrate an active learning process to identify and remedy deficiencies in the proposed governing equations.

연구 동기 및 목표

• 풍부한 데이터에서 항 템플릿을 가정하지 않고 지배 법칙 자동 발견의 동기를 제시한다.
• 대수적 및 미분 연산자를 구성하는 연산자 그래프 기반의 미분 가능 탐색을 개발하여 방정식을 형성한다.
• Bayesian 추론을 통해 방정식 매개변수를 보정한다.
• 합성 미분 방정식과 실제 초음파 데이터셋에서 강건성을 입증한다.
• 발견된 법칙을 기존 물리정보 기반 및 해석적 워크플로우와 통합하는 경로를 제시한다.

제안 방법

• 각 데이터 구성요소에 적합한 differentiable 모델(신경망 또는 가우시안 프로세스)을 맞추어 매끄러운 함수 표현을 얻는다.
• 잎은 적합된 모델이고 내부 노드는 대수적 및 미분 연산자 라이브러리에서 뽑은 연산자로 이루어진 그래프로 미분 방정식 후보를 구성한다.
• 도메인 내 임의의 x에 대해 잔차 r(x)를 평가하기 위해 자동 미분을 통해 연산자를 계산한다.
• 증거 하한 ELBO를 적합도으로 사용하여 진화적 검색으로 방정식 그래프를 생성하고 순위를 매긴다.
• 상수에 해당하는 잎에서 매개변수 theta를 블랙박스 변분 추론(Bayesian)으로 보정한다.
• 선택적으로 새로운 데이터를 선택하여 적합 개선 지수 a(x)를 최대화하고 발견된 방정식을 반복적으로 다듬는 활성 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터에서 후보 항을 사전에 명시하지 않고 자유 형식의 미분 방정식을 발견할 수 있는가?
• RQ2 연산자와 differentiable 모델의 그래프 기반 조합이 합성 벤치마크에서 알려진 미분 방정식을 얼마나 잘 복원하는가?
• RQ3 발견된 방정식의未知 매개변수를 개별 데이터 인스턴스에 맞춰 보정할 수 있는가?
• RQ4 활성 학습이 추가 데이터로 지배 법칙을 개선하는 데 효과적인가?
• RQ5 실제 데이터(예: 초음파)에서 방법의 성능은 순수 합성 벤치마크와 비교해 어떤가?

주요 결과

• 합성 데이터로부터 ODE 및 PDE를 포함한 여러 벤치마크 미분 방정식을 완전히 데이터 기반의 연산자 그래프 접근으로 성공적으로 발견했다.
• 방법은 올바른 지배 구조를 복원하고 개별 데이터 인스턴스에 대한 계수를 보정할 수 있다.
• 가우시안 프로세스 모델이 이 작업에서 신경망보다 더 안정적인 기울기 정보를 제공하여 연산자 조합의 정확성에 기여했다.
• 적응적 샘플링과 ELBO 기반 적합도가 진화 탐색을 올바른 방정식으로 유도하며 샘플 수를 줄인다.
• 초음파 데이터에 적용했을 때 파동 방정식에 합리적인 보정 항을 제시하고 매개변수 사후 분포를 정량화했다.
• 이 프레임워크는 전통적인 모델링 및 물리 정보 기반 방법과 호환되는 사람이 읽을 수 있는 구성 가능한 미분 방정식을 도출한다.