[論文レビュー] Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow

Adam Subel, Yifei Guan+2 more|arXiv (Cornell University)|Jun 7, 2022

Model Reduction and Neural Networks被引用数 10

ひとこと要約

本稿では、乱流のデータ駆動型小スケール（SGS）モデルにおける転移学習（TL）を説明する物理的制約付きフレームワークを提案する。システムのデータに対するスペクトル解析と畳み込みニューラルネットワーク（CNN）の活性化およびカーネルのスペクトル分解を組み合わせることで、TLがベースとターゲットの乱流系のスペクトル差に一致する低域・バンド・高域通過フィルタ応答を学習することを明らかにし、従来の機械学習の常識とは対照的に、再訓練に最適な層が浅い層であることを同定した。

ABSTRACT

Transfer learning (TL) is becoming a powerful tool in scientific applications of neural networks (NNs), such as weather/climate prediction and turbulence modeling. TL enables out-of-distribution generalization (e.g., extrapolation in parameters) and effective blending of disparate training sets (e.g., simulations and observations). In TL, selected layers of a NN, already trained for a base system, are re-trained using a small dataset from a target system. For effective TL, we need to know 1) what are the best layers to re-train? and 2) what physics are learned during TL? Here, we present novel analyses and a new framework to address (1)-(2) for a broad range of multi-scale, nonlinear systems. Our approach combines spectral analyses of the systems' data with spectral analyses of convolutional NN's activations and kernels, explaining the inner-workings of TL in terms of the system's nonlinear physics. Using subgrid-scale modeling of several setups of 2D turbulence as test cases, we show that the learned kernels are combinations of low-, band-, and high-pass filters, and that TL learns new filters whose nature is consistent with the spectral differences of base and target systems. We also find the shallowest layers are the best to re-train in these cases, which is against the common wisdom guiding TL in machine learning literature. Our framework identifies the best layer(s) to re-train beforehand, based on physics and NN theory. Together, these analyses explain the physics learned in TL and provide a framework to guide TL for wide-ranging applications in science and engineering, such as climate change modeling.

研究の動機と目的

• 科学的機械学習の応用において、転移学習（TL）の再訓練に最適な層を選択するという重要な課題に取り組む。
• 非線形でマルチスケールな系、たとえば乱流のような系におけるTLの背後にある物理的メカニズムを説明する。
• システムのデータのスペクトル的性質とニューラルネットワーク層の学習済みフィルタ応答を結びつけることで、TLをガイドするフレームワークを構築する。
• 深層学習の一般的な常識とは対照的に、深層層が再訓練に最適であるという見解に反し、SGSモデリングにおいて浅い層が優れていることを示す。
• データ駆動型閉じ込め法を用いた気候モデリングや乱流シミュレーションなどの科学的応用において、分布外一般化を強固に可能にする。

提案手法

• ベースおよびターゲットのシステムからの乱流流れデータに対してスペクトル解析を実施し、波数空間におけるエネルギー分布を特徴づける。
• CNN層の活性化および畳み込みカーネルに対してスペクトル分解を適用し、訓練済みネットワークにおける周波数フィルタリング動作（低域・バンド・高域通過）を分析する。
• フーリエ変換を用いて、各層の出力のスペクトル応答を入力スペクトル、カーネルスペクトル、およびReLU活性化効果の関数として表現する。
• ランダムおよびヘシアンに基づく方向を用いた2次元損失ランドスケープを構築し、ターゲットシステムにおける選択された層の再訓練ダイナミクスを評価する。
• 異なる再訓練層（例：浅い層対深い層）間でのスペクトル応答および損失ランドスケープの形状を比較し、最適な再訓練戦略を特定する。
• ニューラルネットワーク理論およびスペクトルフィルタリングの理論的知見を統合し、カーネル再構成を通じてTLが新しい系の物理にどう適応するかを解釈する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNのどの層が、乱流の小スケールモデリングにおける転移学習の再訓練に最も効果的か？
• RQ2 スペクトル特性が異なるベースの乱流系からターゲット系へ知識を転送する背後にある物理的メカニズムは何か？
• RQ3 転移学習中に畳み込みカーネルのスペクトル応答（フィルタリング動作）はどのように変化するのか？また、それらはベースとターゲット系のスペクトル差と整合するか？
• RQ4 深層学習の一般的な実務とは対照的に、なぜ浅い層が乱流流れモデリングにおけるTLで深い層を上回ることが多いのか？
• RQ5 ネットワークの活性化およびカーネルのスペクトル解析は、マルチスケールで非線形な系における転移学習の成功を予測できるか？

主な発見

• TLNNで再訓練された畳み込みカーネルは、ベースとターゲットの乱流系のスペクトル差に物理的に整合する低域・バンド・高域通過のフィルタ特性の組み合わせを示す。
• 従来の深層学習の常識とは対照的に、浅い層がSGSモデリングにおける再訓練に最も効果的であり、ターゲット系への物理的に意味のあるスペクトル適合が最も顕著に観察される。
• ネットワーク活性化のスペクトル解析から、線形変換（更新された重みによるもの）がスペクトル応答の変化を支配しているのに対し、非線形ReLU活性化効果は二次的であることが判明したが、特定の状況を除いては顕著でない。
• 損失ランドスケープ解析から、浅い層での再訓練はパrameter空間においてより平坦で凸性の高い領域を示し、転移学習における収束の容易さと安定性を示している。
• システムデータとネットワークのフィルタ応答のスペクトル整合性に基づき、最適な再訓練層を予測するフレームワークが成功裏に構築され、科学的応用におけるインformedなTL設計を可能にした。
• 2次元乱流設定において、元の訓練データの1％のみを、より高いレイノルズ数のターゲットシステムから使用した場合でも、TLNNは安定的かつ高精度なa posteriori大渦シミュレーションを達成し、効果的な分布外一般化を示した。