[논문 리뷰] Learning Algorithms for Coarsening Uncertainty Space and Applications to Multiscale Simulations

Zecheng Zhang, Eric T. Chung외 2명|arXiv (Cornell University)|2020. 04. 09.

Advanced Mathematical Modeling in Engineering참고 문헌 47인용 수 4

한 줄 요약

이 논문은 다스케일 스토케스틱 PDE에서 불확실성 공간을 조인다는 데 목적이 있는 딥러닝 기반 방법을 제안한다. 컨volutional 신경망을 사용하고, 적대적 훈련과 다중 성분 손실 함수를 적용하여 투과도 필드의 클러스터를 학습한다. 이 방법은 실현값 간의 빠른 기저 함수 선택을 가능하게 하여 계산 비용을 줄이며, 11개의 클러스터로 near-optimal 정확도를 달성한다. 이는 전통적인 GMsFEM 성능과 유사하지만 훈련 속도를 높인다.

ABSTRACT

In this paper, we investigate and design multiscale simulations for stochastic multiscale PDEs. As for the space, we consider a coarse grid and a known multiscale method, the Generalized Multiscale Finite Element Method (GMsFEM). In order to obtain a small dimensional representation of the solution in each coarse block, the uncertainty space needs to be partitioned (coarsened). This coarsening collects realizations that provide similar multiscale features as outlined in GMsFEM (or other method of choice). This step is known to be computationally demanding as it requires many local solves and clustering based on them. In this paper, we take a different approach and learn coarsening the uncertainty space. Our methods use deep learning techniques in identifying clusters(coarsening) in the uncertainty space. We use convolutional neural networks combined with some techniques in adversary neural networks. We define appropriate loss functions in the proposed neural networks, where the loss function is composed of several parts that includes terms related to clusters and reconstruction of basis functions. We present numerical results for channelized permeability fields in the examples of flows in porous media.

연구 동기 및 목표

• 다른 스토케스틱 실현값에 대해 다스케일 기저 함수를 생성하는 데 높은 계산 비용을 해결하기 위해.
• 기존의 클러스터링 방법이 솔루션 간의 비용이 많이 드는 局부 해법과 거리 측정 기반의 제약을 극복하기 위해.
• 이종 투과도 필드의 대표 클러스터를 식별함으로써 불확실성 공간을 데이터 기반으로 학습 가능한 프레임워크로 조인다.
• 다스케일 기저 함수를 학습 과정의 감독으로 통합하여 클러스터가 물리적 솔루션 특징을 반영하도록 보장하기 위해.
• 대표 클러스터에 대한 기저 함수를 사전에 계산함으로써 실현값 간의 빠른 시뮬레이션을 가능하게 하여 온라인 계산 비용을 줄이기 위해.

제안 방법

• 입력으로 투과도 필드, 출력으로 해당하는 다스케일 기저 함수를 갖는 조건부 생성 모델을 사용한다.
• 재구성 손실, 클러스터링 손실, 적대적 손실을 조합한 다중 성분 손실 함수를 설계하여 잠재 공간이 물리적으로 의미 있는 클러스터로 향하도록 이끈다.
• 컨volutional 레이어를 사용하여 특징을 추출하고 잠재 공간에서 기저 함수를 재구성하는 U-Net 유사 인코더-디코더 아키텍처를 구현한다.
• 생성된 기저 함수의 품질을 향상시키기 위해 적대적 네트워크를 도입하여 디스크림네이터 네트워크를 통해 현실감 있는 출력을 유도한다.
• 각 코arse 블록에 대해 기준 블록의 파라미터를 초기화하여 전이 학습을 적용함으로써 훈련 시간을 크게 단축시킨다.
• 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 정확한 기저 함수 재구성과 입력 투과도 필드의 효과적 클러스터링을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 명시적인 클러스터링이나 국부 해법 없이 딥러닝을 사용하여 다스케일 스토케스틱 PDE의 불확실성 공간을 조인다 할 수 있는가?
• RQ2 다스케일 기저 함수를 감독으로 통합할 경우, 불확실성 공간 내에서 학습된 클러스터의 품질은 어떻게 향상되는가?
• RQ3 표준 오토에인코더 훈련에 비해 적대적 훈련이 학습된 다스케일 기저 함수의 정밀도를 얼마나 향상시키는가?
• RQ4 클러스터 수가 GMsFEM 시뮬레이션에서 감소된 순서 모델의 정확도에 어떤 영향을 미치는가?
• RQ5 코arse 블록 간 전이 학습을 통해 훈련 시간을 크게 단축시킬 수 있으며, 이로 인해 솔루션 정확도는 유지되는가?

주요 결과

• GMsFEM 솔루션의 $L_2$ 상대 오차는 클러스터 수가 증가함에 따라 감소하며, 특히 5에서 11개 클러스터로 증가할 때 급격한 감소가 관찰된다.
• 11개 클러스터로 구성된 클러스터 기반 방법은 특정 실현값을 사용한 전통적 GMsFEM 방법과 유사한 $L_2$ 상대 오차를 달성하여 정확도 손실가 없이 near-optimal 성능을 확보한다.
• 적대적 손실을 포함시킴으로써 학습된 다스케일 기저 함수와 실제 기저 함수 간의 MSE가 0.9073400에서 0.748312로 감소하여 기저 함수의 정밀도가 향상된다.
• 적대적 훈련을 적용함으로써 $L_2$ 상대 오차가 41.120439에서 36.760918로 개선되어 생성 손실의 효과성을 입증한다.
• 전이 학습을 통해 기준 블록의 파라미터를 초기화함으로써 코arse 블록 간의 훈련 속도를 높여 계산 오버헤드를 줄일 수 있다.
• 제안된 방법은 대표 클러스터에 대한 기저 함수를 사전 계산함으로써 많은 실현값 간의 빠른 시뮬레이션을 가능하게 하여 온라인 계산 비용을 크게 감소시킨다.