[논문 리뷰] Up to two billion times acceleration of scientific simulations with deep neural architecture search

Muhammad Kasim, Duncan Watson‐Parris외 11명|arXiv (Cornell University)|2020. 01. 01.

Scientific Computing and Data Management인용 수 29

한 줄 요약

이 논문은 과학적 시뮬레이션을 위한 고정확도, 고속 에뮬레이터를 최소한의 훈련 데이터로 생성하기 위해 딥 뉴럴 아키텍처 탐색(NAS) 방법을 제안한다. 공유 슈퍼아키텍처와 일관된 초모수를 활용한 자동화된 신경망 아키텍처 탐색을 통해, 천체물리학 및 fusion 에너지를 포함한 10개의 다양한 과학 분야에서 시뮬레이션을 최대 20억 배 빠르게 하고, 에뮬레이터 신뢰성에 대한 불확실성 추정도 제공한다.

ABSTRACT

Computer simulations are invaluable tools for scientific discovery. However, accurate simulations are often slow to execute, which limits their applicability to extensive parameter exploration, large-scale data analysis, and uncertainty quantification. A promising route to accelerate simulations by building fast emulators with machine learning requires large training datasets, which can be prohibitively expensive to obtain with slow simulations. Here we present a method based on neural architecture search to build accurate emulators even with a limited number of training data. The method successfully accelerates simulations by up to 2 billion times in 10 scientific cases including astrophysics, climate science, biogeochemistry, high energy density physics, fusion energy, and seismology, using the same super-architecture, algorithm, and hyperparameters. Our approach also inherently provides emulator uncertainty estimation, adding further confidence in their use. We anticipate this work will accelerate research involving expensive simulations, allow more extensive parameters exploration, and enable new, previously unfeasible computational discovery.

연구 동기 및 목표

• 빠른 시뮬레이션으로 인해 파라미터 탐색과 불확실성 정량화가 제한되는 과학적 시뮬레이션의 문제를 해결한다.
• 느린 시뮬레이션에서 유래한 대규모 데이터셋이 종종 비용이 많이 들기 때문에, 기계학습 에뮬레이터 훈련의 데이터 효율성 장벽을 극복한다.
• 재훈련이나 초모수 조정 없이 다양한 과학 분야에서 정확한 에뮬레이터를 생성하기 위한 일반화 가능하고 데이터 효율적인 방법을 개발한다.
• 에뮬레이터에 내재된 불확실성 추정을 통합하여 과학적 의사결정에서 신뢰성과 신뢰도를 향상시킨다.
• 기존에는 실현 불가능했던 계산적 발견을 극적으로 줄어든 시뮬레이션 런타임 동안 고정확도를 유지하면서 가능하게 한다.

제안 방법

• 과학적 시뮬레이션 에뮬레이션을 위한 최적의 딥 뉴럴 네트워크 아키텍처를 자동으로 발견하기 위해 신경망 아키텍처 탐색(NAS)을 활용한다.
• 모든 과학 분야에서 동일한 슈퍼아키텍처를 사용하여 일관성 확보 및 아키텍처 탐색 복잡도 감소를 도모한다.
• 최소한의 계산 비용으로 아키텍처 공간을 효율적으로 탐색하기 위해 미분 가능 탐색 전략을 적용한다.
• 제한된 수의 고정밀도 시뮬레이션 데이터 포인트를 사용하여 선택된 아키텍처를 훈련시켜 데이터 효율성을 극대화한다.
• 예측과 함께 신뢰도를 향상시키기 위해 베이지안 신경망 구성 요소를 통합하여 불확실성 추정을 제공한다.
• 모든 10개의 과학 사례에 동일한 알고리즘과 초모수를 적용하여 일반화성과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색이 과학적 시뮬레이션을 위한 기계학습 에뮬레이터의 데이터 효율성을 크게 향상시킬 수 있는가?
• RQ2 동일한 슈퍼아키텍처와 일관된 초모수는 다양한 과학 분야에 얼마나 잘 일반화되는가?
• RQ3 제안된 방법이 고정확도와 불확실성 정량화를 유지하면서도 극도로 빠른 가속(예: 수십억 배)을 달성할 수 있는가?
• RQ4 내재된 불확실성 추정의 포함 여부가 고위험 과학 응용 분야에서 에뮬레이터 신뢰성에 어떤 영향을 미치는가?
• RQ5 이 접근법은 이전에는 해결 불가능했던 시뮬레이션 문제에서 대규모 파라미터 공간 탐색과 불확실성 정량화를 가능하게 할 수 있는가?

주요 결과

• 이 방법은 천체물리학, 기후 과학, fusion 에너지 등을 포함한 10개의 다른 과학 분야에서 최대 20억 배 빠른 시뮬레이션 속도를 달성했다.
• 모든 10개의 과학 사례에 동일한 슈퍼아키텍처, 알고리즘, 초모수를 재구성 없이 성공적으로 적용하여 강력한 일반화성을 입증했다.
• 제한된 시뮬레이션 데이터로도 고정밀도를 유지함으로써 실제 과학적 맥락에서 데이터 효율성을 입증했다.
• 이 방법은 예측에 대해 내재된 불확실성 추정을 제공하여 과학적 의사결정에서 에뮬레이터 출력에 대한 신뢰도를 향상시킨다.
• 이전에는 계산적으로 실현 불가능했던 시뮬레이션에서 광범위한 파라미터 공간 탐색과 불확실성 정량화를 가능하게 했다.
• 결과적으로 NAS 기반의 에뮬레이터가 다양한 분야에서 과학적 정밀도를 유지하면서도 계산 비용을 극적으로 줄일 수 있음을 입증했다.