[논문 리뷰] Computational model discovery with reinforcement learning

Maxime Bassenne, Adrián Lozano-Durán|arXiv (Cornell University)|2019. 12. 29.

Model Reduction and Neural Networks참고 문헌 24인용 수 9

한 줄 요약

이 논문은 복잡한 물리계를 위한 분석적 감소차수 모델을 발견하기 위해 인간 전문가의 모델 전략 탐색을 외부로 이관하는 강화학습 프레임워크 MDRL을 제안한다. 학습된 모델 생성기와 적분량을 통한 사후 평가를 사용하여 버거스 방정식에서 누락된 항을 랜덤 서치보다 수 개체수 만큼 빠르게 정확하게 복원한다.

ABSTRACT

The motivation of this study is to leverage recent breakthroughs in artificial intelligence research to unlock novel solutions to important scientific problems encountered in computational science. To address the human intelligence limitations in discovering reduced-order models, we propose to supplement human thinking with artificial intelligence. Our three-pronged strategy consists of learning (i) models expressed in analytical form, (ii) which are evaluated a posteriori, and iii) using exclusively integral quantities from the reference solution as prior knowledge. In point (i), we pursue interpretable models expressed symbolically as opposed to black-box neural networks, the latter only being used during learning to efficiently parameterize the large search space of possible models. In point (ii), learned models are dynamically evaluated a posteriori in the computational solver instead of based on a priori information from preprocessed high-fidelity data, thereby accounting for the specificity of the solver at hand such as its numerics. Finally in point (iii), the exploration of new models is solely guided by predefined integral quantities, e.g., averaged quantities of engineering interest in Reynolds-averaged or large-eddy simulations (LES). We use a coupled deep reinforcement learning framework and computational solver to concurrently achieve these objectives. The combination of reinforcement learning with objectives (i), (ii) and (iii) differentiate our work from previous modeling attempts based on machine learning. In this report, we provide a high-level description of the model discovery framework with reinforcement learning. The method is detailed for the application of discovering missing terms in differential equations. An elementary instantiation of the method is described that discovers missing terms in the Burgers' equation.

연구 동기 및 목표

• 최적의 모델 전략을 탐색하는 데 있어 인간의 편향을 줄이기 위해 계산 모델 발견을 자동화한다.
• 블랙박스 신경망이 아닌 설명 가능한 분석 모델을 발견하는 방법을 개발한다.
• 수치적 영향을 고려하여 실제 계산 솔버에서 모델을 동적으로 평가한다.
• 희소 실험 측정치를 사용할 수 있도록 통합 또는 평균 데이터만을 사용하여 모델 발견을 이끌어낸다.
• 랜덤 서치에 비해 미분방정식의 누락된 항을 더 빠르게 발견한다.

제안 방법

• 딥 강화학습 에이전트는 파rameterized 확률 분포를 사용하여 기호 수학식(모델)을 생성하는 데 학습된다.
• 모델 생성기는 계산 솔버에서 모델 정확도에 기반한 보상 신호를 최대화하기 위해 정책 기반 강화 방법으로 훈련된다.
• 모델는 사전 처리된 데이터가 아닌 실제 시뮬레이션 환경에서 사후 평가되며, 수치적 정밀도를 보장한다.
• 사전 지식은 유일하게 적분량(예: 평균 유량)을 통해 삽입되며, 실험 또는 거시 척도 데이터의 사용을 가능하게 한다.
• 프레임워크는 계산 솔버와 통합되며, 계산 그래프를 사용하여 미분 가능한 모델 생성 및 훈련을 가능하게 한다.
• 기호 수식 생성과 강화학습을 결합하여 큰 모델 공간을 효율적으로 탐색한다.

실험 결과

연구 질문

• RQ1 강화학습이 인간의 편향 없이 미분방정식의 누락된 항에 대한 정확한 기호 형태를 발견할 수 있는가?
• RQ2 MDRL 프레임워크의 성능은 수렴 속도와 계산 비용 측면에서 랜덤 서치와 비교해 어떻게 되는가?
• RQ3 통합 또는 평균 데이터만을 사전 지식으로 사용할 수 있는가? 이는 희소 실험 측정치와의 통합을 가능하게 하는가?
• RQ4 이 프레임워크는 정확하고 설명 가능한 모델을 얼마나 잘 학습할 수 있는가? 블랙박스 신경망을 피할 수 있는가?
• RQ5 이 접근법은 유체역학을 초월하여 다른 과학 및 공학 모델링 문제로 일반화될 수 있는가?

주요 결과

• MDRL 프레임워크는 버거스 방정식에서 누락된 항의 정확한 해석적 형태인 $ M = -\frac{1}{2} u \frac{\partial u}{\partial x} $를 학습을 통해 성공적으로 복원하였다.
• 랜덤 서치가 성공하기 위해 $ \mathcal{O}(10^9) $회 이상의 반복이 필요로 하였을 것임을 감안할 때, 이 방법은 훨씬 적은 반복 수로 정확한 해 복원을 달성하였다.
• 강화학습 에이전트는 유용한 수학적 패턴을 인식하여 균일한 랜덤 샘플링에 비해 탐색 공간을 극적으로 줄였다.
• 이 방법은 유일하게 통합 또는 평균 데이터만을 사전 지식으로 사용할 수 있어 실험 측정치 및 라지 에디 시뮬레이션 데이터와의 호환성을 보장한다.
• 모델 발견의 계산 효율성 측면에서 이 프레임워크는 랜덤 서치를 수 개체수 만큼 뛰어넘는 성능을 보였다.
• 이 방법은 계산 과학 분야에서 설명 가능한 물리 기반 모델을 발견하는 데 가능성을 보이며, 유체역학을 초월한 광범위한 응용 가능성이 있다.