[論文レビュー] Transfer learning to model inertial confinement fusion experiments

Kelli Humbird, J. L. Peterson+1 more|arXiv (Cornell University)|Dec 14, 2018

Laser-Plasma Interactions and Diagnostics参考文献 22被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワークを用いた階層的トランスファー学習を提案し、低精度のICFシミュレーションをオメガレーザ施設からの高精度シミュレーションおよび実験データにキャリブレーションすることで、最小限の実験データで慣性核融合実験の予測精度を顕著に向上させることを目的としている。この手法により、非線形な適合誤差を異なる精度レベル間で学習することで、データ駆動型の設計最適化が可能となり、実験結果の予測において単なるシミュレーションを上回る性能を発揮する。

ABSTRACT

Inertial confinement fusion (ICF) experiments are designed using computer simulations that are approximations of reality, and therefore must be calibrated to accurately predict experimental observations. In this work, we propose a novel nonlinear technique for calibrating from simulations to experiments, or from low fidelity simulations to high fidelity simulations, via "transfer learning". Transfer learning is a commonly used technique in the machine learning community, in which models trained on one task are partially retrained to solve a separate, but related task, for which there is a limited quantity of data. We introduce the idea of hierarchical transfer learning, in which neural networks trained on low fidelity models are calibrated to high fidelity models, then to experimental data. This technique essentially bootstraps the calibration process, enabling the creation of models which predict high fidelity simulations or experiments with minimal computational cost. We apply this technique to a database of ICF simulations and experiments carried out at the Omega laser facility. Transfer learning with deep neural networks enables the creation of models that are more predictive of Omega experiments than simulations alone. The calibrated models accurately predict future Omega experiments, and are used to search for new, optimal implosion designs.

研究の動機と目的

• 極端な条件下での物理的妥当性が検証されていないため、慣性核融合（ICF）におけるコンピュータシミュレーションの不正確さという課題に対処すること。
• トランスファー学習を活用することで、ICF実験用の正確な予測モデルを構築するための計算コストを低減すること。
• 低精度・中精度・高精度シミュレーションと実験データを統合するフレームワークを構築し、モデルのキャリブレーションを改善すること。
• レーザーパルスとキャプセル幾何学の間の非線形相互作用を捉えることで、データ駆動型のICFインプラージョン設計最適化を可能にすること。
• 実際のオメガレーザ施設のデータを用いて手法を検証し、単なるシミュレーションに比べて実験結果の予測精度が向上することを示すこと。

提案手法

• まず、大規模な低精度シミュレーションデータセットを用いて深層ニューラルネットワークを訓練する。
• 訓練済みネットワークの初期層を凍結し、一般化された特徴表現（例：シミュレーション出力内のエッジやパターン）を保持する。
• 高精度シミュレーションの小さなデータセットに対して、最終層のみを再訓練することで、モデルを高精度の物理に適合させる。
• さらに、オメガレーザ施設からの実験データを用いてネットワークを微調整し、現実世界の実験を模倣する最終エミュレータを構築する。
• 低精度から高精度へ、次いで実験へと段階的にキャリブレーションする階層的トランスファー学習を用い、高価なデータに依存しないようにする。
• シミュレーションと実験結果の間の複雑な非線形差異を学習可能な深層ニューラルネットワークアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 トランスファー学習は、実験結果へのICFシミュレーションモデルのキャリブレーションに必要なデータ量と計算コストを効果的に削減できるか？
• RQ2 直接的にシミュレーションから実験へキャリブレーションするのと比較して、階層的トランスファー学習は予測精度をどのように向上させるか？
• RQ3 低精度シミュレーションで訓練されたモデルが、高精度シミュレーションおよび実際の実験にどれほど一般化できるか？
• RQ4 キャリブレーション済みモデルは、従来の物理的ガイド付きパラメータス윕の範囲外の最適インプラージョン設計を発見できるか？
• RQ5 訓練データの外挙動をした場合、トランスファー学習されたモデルの予測はどの程度頑健か？

主な発見

• トランスファー学習モデルは、単なるシミュレーションに比べてオメガ実験の予測精度が高く、キャリブレーション手法の有効性を示した。
• 実験データでキャリブレーションされたモデルは、将来のオメガ実験の結果を正しく予測でき、一般化能力の妥当性を検証した。
• モデルは最適インプラージョン設計を同定し、キャプセルの厚さを増加させ、パルス形状（ピケットおよびフット）を変更するもので、独立した実験的分析と整合的であった。
• ニューラルネットワークベースの最適化は、レーザーパルスパラメータとキャプセル幾何学の間の非線形相互作用を捉え、従来の物理的ガイド付き手法を超えた同時最適化を可能にした。
• 本トランスファー学習モデルとパワーローに基づく2つの異なるデータ駆動型手法が、類似した最適設計選択に到達したため、研究結果の頑健性が裏付けられた。
• 階層的トランスファー学習フレームワークにより、最小限の実験データで高精度シミュレーションおよび実験を正確にエミュレート可能となり、計算コストを顕著に削減した。