[論文レビュー] Up to two billion times acceleration of scientific simulations with deep neural architecture search

Muhammad Kasim, Duncan Watson‐Parris+11 more|arXiv (Cornell University)|Jan 1, 2020

Scientific Computing and Data Management被引用数 29

ひとこと要約

この論文では、最小限の訓練データで高精度で高速な科学的シミュレーションのエミュレータを構築するために、深層ニューラルアーキテクチャ探索（NAS）手法を提案する。共有スーパーアーキテクチャと一貫したハイパーパrameterを活用することで、天文学、核融合エネルギーを含む10の異なる科学的分野において、最大20億倍のシミュレーション加速を達成した。また、エミュレータの信頼性を高めるために不確実性推定値も提供する。

ABSTRACT

Computer simulations are invaluable tools for scientific discovery. However, accurate simulations are often slow to execute, which limits their applicability to extensive parameter exploration, large-scale data analysis, and uncertainty quantification. A promising route to accelerate simulations by building fast emulators with machine learning requires large training datasets, which can be prohibitively expensive to obtain with slow simulations. Here we present a method based on neural architecture search to build accurate emulators even with a limited number of training data. The method successfully accelerates simulations by up to 2 billion times in 10 scientific cases including astrophysics, climate science, biogeochemistry, high energy density physics, fusion energy, and seismology, using the same super-architecture, algorithm, and hyperparameters. Our approach also inherently provides emulator uncertainty estimation, adding further confidence in their use. We anticipate this work will accelerate research involving expensive simulations, allow more extensive parameters exploration, and enable new, previously unfeasible computational discovery.

研究の動機と目的

• パrameter探索や不確実性の定量化を制限する、科学的シミュレーションの遅さという課題に対処すること。
• 遅いシミュレーションから得られる大量のデータが必要な機械学習エミュレータの訓練において、データ効率性の障壁を克服すること。
• 再トレーニングやハイパーパrameterチューニングなしに、多様な科学的分野に一般化可能な、データ効率の高い方法で正確なエミュレータを開発すること。
• エミュレータに内在する不確実性推定を組み込むことで、科学的意思決定における信頼性と信頼性を向上させること。
• 計算的に実行不可能だった、極めて短時間のシミュレーション実行を可能にすることで、従来では不可能だった計算的発見を実現すること。

提案手法

• 科学的シミュレーションのエミュレーションに最適な深層ニューラルネットワークアーキテクチャを自動的に発見するために、ニューラルアーキテクチャ探索（NAS）を採用する。
• すべての科学的分野にわたって同一のスーパーアーキテクチャを用いることで、一貫性を確保し、アーキテクチャ探索の複雑さを低減する。
• 計算コストを最小限に抑えるために、微分可能探索戦略を用いてアーキテクチャ空間を効率的に探索する。
• 限られた高精度なシミュレーションデータポイントを用いて、選択されたアーキテクチャをトレーニングし、データ効率を最大化する。
• 予測と併せて信頼性を高めるために、ベイジアンニューラルネットワークのコンponentsを統合し、不確実性推定値を提供する。
• すべての10の科学的ケースに同じアルゴリズムとハイパーパrameterを適用することで、一般化性と頑健性を示している。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索は、科学的シミュレーションの機械学習エミュレータのデータ効率を顕著に向上させることができるか？
• RQ2 同一のスーパーアーキテクチャと一貫したハイパーパrameterは、多様な科学的分野にどの程度一般化可能か？
• RQ3 提案手法は、高精度と不確実性の定量化を維持しながら、極めて高い加速（例：数十億倍）を達成できるか？
• RQ4 内在的な不確実性推定の組み込みが、高リスクな科学的応用におけるエミュレータの信頼性にどのように影響するか？
• RQ5 このアプローチは、従来では計算的に実行不可能だったシミュレーション問題において、大規模なパrameter空間探索と不確実性の定量化を可能にするか？

主な発見

• 本手法は、天文学、気象学、核融合エネルギーを含む10の異なる科学的分野において、最大20億倍のシミュレーション速度の向上を達成した。
• 10の科学的ケースすべてに同一のスーパーアーキテクチャ、アルゴリズム、ハイパーパrameterを適用し、再設定なしに成功した。これは強力な一般化性を示している。
• 限られたシミュレーションデータでトレーニングされたにもかかわらず、エミュレータは高い精度を維持した。これは、実世界の科学的文脈におけるデータ効率性を裏付けた。
• 本手法は予測の不確実性推定値を内蔵的に提供するため、科学的意思決定におけるエミュレータ出力の信頼性が向上した。
• 従来では計算的に実行不可能だったシミュレーションにおいて、広範なパrameter空間探索と不確実性の定量化を可能にした。
• 結果として、NASベースのエミュレータは、多様な分野において科学的忠実性を保持しながら、計算コストを著しく削減できることを示した。