[논문 리뷰] Deep Multiscale Model Learning

Yating Wang, Siu Wun Cheung외 3명|arXiv (Cornell University)|2018. 06. 13.

Model Reduction and Neural Networks참고 문헌 5인용 수 18

한 줄 요약

이 논문은 비선형 PDE를 위한 데이터 조건이 부여된 격자 모델을 구축하기 위해 비국소 다중연속체(NLMC) 다중스케일 모델 축소와 딥 뉴럴 네트워크를 통합하는 새로운 프레임워크인 딥 다중스케일 모델 학습(Deep Multiscale Model Learning, DMML)을 제안한다. 다중스케일 개념을 활용해 물리적 자유도와 연결성을 정의하고, 하이브리드 관측 데이터와 계산 데이터를 사용해 유도된 네트워크를 훈련시킴으로써, 관측 데이터가 제한된 경우에도 정확하고 물리학에 기반한 예측을 가능하게 하여, 수치 실험에서 순수 데이터 기반 또는 시뮬레이션 전용 접근 방식보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

The objective of this paper is to design novel multi-layer neural network architectures for multiscale simulations of flows taking into account the observed data and physical modeling concepts. Our approaches use deep learning concepts combined with local multiscale model reduction methodologies to predict flow dynamics. Using reduced-order model concepts is important for constructing robust deep learning architectures since the reduced-order models provide fewer degrees of freedom. Flow dynamics can be thought of as multi-layer networks. More precisely, the solution (e.g., pressures and saturations) at the time instant $n+1$ depends on the solution at the time instant $n$ and input parameters, such as permeability fields, forcing terms, and initial conditions. One can regard the solution as a multi-layer network, where each layer, in general, is a nonlinear forward map and the number of layers relates to the internal time steps. We will rely on rigorous model reduction concepts to define unknowns and connections for each layer. In each layer, our reduced-order models will provide a forward map, which will be modified ("trained") using available data. It is critical to use reduced-order models for this purpose, which will identify the regions of influence and the appropriate number of variables. Because of the lack of available data, the training will be supplemented with computational data as needed and the interpolation between data-rich and data-deficient models. We will also use deep learning algorithms to train the elements of the reduced model discrete system. We will present main ingredients of our approach and numerical results. Numerical results show that using deep learning and multiscale models, we can improve the forward models, which are conditioned to the available data.

연구 동기 및 목표

• 관측 데이터와 물리적 제약 조건을 통합한 비선형 다중스케일 PDE의 격자 모델을 구축하기 위한 강력한 프레임워크를 개발하는 것.
• 다중스케일 시뮬레이션에서 관측 데이터가 부족한 문제를 딥 러닝을 통해 관측 데이터와 계산 데이터를 융합함으로써 해결하는 것.
• 다중스케일 모델 축소 개념을 딥 뉴럴 네트워크 아키텍처에 통합함으로써, 스케일업된 모델의 정확도와 일반화 능력을 향상시키는 것.
• 다중스케일 모델 축소가 네트워크 아키텍처 설계를 이끌 수 있음을 보여주며, 물리적 해석 가능성과 자유도 감소를 보장하는 것.
• 관측 데이터가 희소한 상황에서 관측 데이터와 계산 데이터를 모두 사용한 하이브리드 훈련이 모델 성능 향상에 기여하는지 검증하는 것.

제안 방법

• 모델은 비국소 다중연속체(NLMC) 접근 방식을 기반으로 하여 물리적 의미를 지닌 격자 자유도(예: 해의 평균값 등)를 정의한다.
• 시뮬레이션의 각 시간 단계는 딥 뉴럴 네트워크의 한 층으로 모델링되며, 시간 $n+1$의 해는 시간 $n$의 해와 입력 매개변수로부터 비선형 맵으로 예측된다.
• 네트워크 아키텍처는 다중스케일 모델 축소에 기반하여 설계되어, 연결성과 미지수들이 물리적 영향 영역과 국소적 이방성 반영하도록 한다.
• 하이브리드 훈련 전략은 서로 다른 투과도 필드를 가진 시뮬레이션에서 유도된 계산 데이터와 관측 데이터를 융합하여 일반화 능력과 데이터 효율성을 향상시킨다.
• 손실 함수는 예측된 최종 시간 해와 관측된 해의 차이를 최소화하도록 설계되며, 순수 관측 데이터, 순수 시뮬레이션 데이터, 혼합 데이터로 각각 별도의 네트워크를 훈련시킨다.
• 프레임워크는 다층 구조를 사용하며, 각 층은 시간 단계에 해당하며, 전방 맵은 딥 러닝을 통해 학습되지만 다중스케일 구조는 유지된다.

실험 결과

연구 질문

• RQ1 딥 러닝을 다중스케일 모델 축소와 효과적으로 융합하여 비선형 PDE에 대한 정확하고 데이터 조건이 부여된 격자 모델을 만들 수 있는가?
• RQ2 관측 데이터와 계산 데이터를 모두 포함할 경우, 학습된 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 영향 영역과 축소된 자유도와 같은 다중스케일 개념이 다중스케일 시뮬레이션에서 딥 뉴럴 네트워크의 아키텍처와 훈련을 향상시키는 데 기여할 수 있는가?
• RQ4 데이터 부족이 모델 정확도에 미치는 영향은 무엇이며, 하이브리드 데이터 훈련이 이 문제를 완화시킬 수 있는가?
• RQ5 학습된 딥 네트워크가 높은 예측 정확도를 달성하면서도 물리적 일관성을 얼마나 잘 유지할 수 있는가?

주요 결과

• 예제 1에서 혼합 데이터 기반 네트워크는 최종 시간 예측에서 평균 오차 5.6%를 기록하여 순수 시뮬레이션 네트워크(52.3% 오차)보다 뛰어난 성능을 보이며, 관측 데이터 통합의 이점을 입증했다.
• 예제 2에서 혼합 데이터 기반 네트워크는 평균 오차 8.5%를 기록했고, 순수 관측 데이터 기반 네트워크는 2.6%를 기록하여, 제한된 관측 데이터라도 정확도 향상에 크게 기여함을 보였다.
• 예제 3에서는 투과도 대비 비율이 높고 데이터가 매우 이질적인 상황에서 혼합 네트워크(8.8% 평균 오차)가 순수 시뮬레이션 네트워크(64.3% 오차)를 크게 앞서며, 하이브리드 데이터 훈련의 가치를 입증했다.
• 혼합 데이터로 훈련된 네트워크($\mathcal{N}_m$)는 순수 시뮬레이션 네트워크보다 관측 데이터에 훨씬 가까운 예측을 하였으며, 평균 오차는 8.8% 대비 64.3%였다.
• 그림 10의 해 비교 결과는 혼합 훈련 네트워크($\mathcal{N}_m$)가 테스트 샘플 전반에 걸쳐 신뢰할 수 있고 물리적으로 타당한 예측을 생성했음을 확인했다.
• 결과는 다중스케일 모델 축소에서 유도된 격자 자유도를 사용할 경우, 특히 데이터가 부족한 환경에서 모델의 강건성 향상과 과적합 감소에 기여함을 보여준다.