[논문 리뷰] Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow

Adam Subel, Yifei Guan외 2명|arXiv (Cornell University)|2022. 06. 07.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 난류 유동의 데이터 기반 미세거시 스케일(SGS) 모델링에서 전이학습(TL)을 설명하기 위한 물리적 정보를 통합한 프레임워크를 제안한다. 기반 시스템과 목표 시스템의 시스템 데이터 스펙트럼 분석과 함께, 합성곱 신경망(CNN) 활성화 및 커널의 스펙트럼 분해를 통합함으로써, TL이 기반 시스템과 목표 시스템 간의 스펙트럼 차이에 따라 저역통과, 대역통과, 고역통과 필터 응답을 학습하는 것으로 밝혀졌으며, 기존 머신러닝 지혜와는 반대로 얕은 층이 재학습에 가장 적합함을 규명하였다.

ABSTRACT

Transfer learning (TL) is becoming a powerful tool in scientific applications of neural networks (NNs), such as weather/climate prediction and turbulence modeling. TL enables out-of-distribution generalization (e.g., extrapolation in parameters) and effective blending of disparate training sets (e.g., simulations and observations). In TL, selected layers of a NN, already trained for a base system, are re-trained using a small dataset from a target system. For effective TL, we need to know 1) what are the best layers to re-train? and 2) what physics are learned during TL? Here, we present novel analyses and a new framework to address (1)-(2) for a broad range of multi-scale, nonlinear systems. Our approach combines spectral analyses of the systems' data with spectral analyses of convolutional NN's activations and kernels, explaining the inner-workings of TL in terms of the system's nonlinear physics. Using subgrid-scale modeling of several setups of 2D turbulence as test cases, we show that the learned kernels are combinations of low-, band-, and high-pass filters, and that TL learns new filters whose nature is consistent with the spectral differences of base and target systems. We also find the shallowest layers are the best to re-train in these cases, which is against the common wisdom guiding TL in machine learning literature. Our framework identifies the best layer(s) to re-train beforehand, based on physics and NN theory. Together, these analyses explain the physics learned in TL and provide a framework to guide TL for wide-ranging applications in science and engineering, such as climate change modeling.

연구 동기 및 목표

• 과학적 머신러닝 응용 분야에서 전이학습(TL)의 핵심 과제인, 재학습에 적합한 최적의 층을 선택하는 데에 대비하기 위해.
• 난류 흐름과 같은 비선형 다스케일 시스템에서 TL의 물리적 메커니즘을 설명하기 위해.
• 시스템 데이터의 스펙트럼 특성과 신경망 층의 학습된 필터 응답 간의 연결을 통해 TL를 이끌어내는 프레임워크를 개발하기 위해.
• 기존 머신러닝 지혜인 '깊은 층이 재학습에 가장 좋다'는 믿음을 도전하기 위해, SGS 모델링에서 얕은 층이 더 뛰어난 성능을 보임을 보여주기 위해.
• 기후 모델링 및 난류 시뮬레이션과 같은 과학적 응용 분야에서 데이터 기반 폐쇄를 통해 분포 외 일반화를 가능하게 하기 위해.

제안 방법

• 기반 시스템과 목표 시스템의 난류 흐름 데이터에 스펙트럼 분석을 적용하여, 파수수에 따른 에너지 분포를 특성화한다.
• CNN 층의 활성화 및 합성곱 커널에 스펙트럼 분해를 적용하여, 훈련된 네트워크에서 주파수 필터링 행동(저역통과, 대역통과, 고역통과)을 분석한다.
• 푸리에 변환을 사용하여 각 층의 출력 스펙트럼 반응을 입력 스펙트럼, 커널 스펙트럼, 그리고 ReLU 활성화 효과의 함수로 표현한다.
• 랜덤 및 헤시안 기반 방향을 사용하여 2차원 손실 경관을 구축하여, 목표 시스템에서 선택된 층의 재학습 역학을 평가한다.
• 다양한 재학습 층(예: 얕은 층 대비 깊은 층) 간의 스펙트럼 반응과 손실 경관 형태를 비교하여 최적의 재학습 전략을 도출한다.
• 신경망 이론과 스펙트럼 필터링의 이론적 통찰을 통합하여, 커널 재구성에 의해 TL이 새로운 시스템 물리에 어떻게 적응하는지 해석한다.

실험 결과

연구 질문

• RQ1 기본 난류 시스템에서 미리 훈련된 CNN의 어느 층이 난류 흐름의 미세거시 스케일 모델링을 위한 전이학습에서 재학습에 가장 효과적인가?
• RQ2 기본 난류 시스템에서 목표 시스템으로 지식을 전이하는 데에 기여하는 물리적 메커니즘은 무엇인가? (특히 스펙트럼 특성이 다른 시스템 간에)
• RQ3 전이학습 중에 합성곱 커널의 스펙트럼 반응(필터링 행동)은 어떻게 변화하며, 이는 기반 시스템과 목표 시스템 간의 스펙트럼 차이와 일치하는가?
• RQ4 왜 전이학습에서 난류 흐름 모델링에서는 일반적으로 딥러닝에서 권장하는 것과는 반대로 얕은 층이 깊은 층보다 더 뛰어난 성능을 보이는가?
• RQ5 네트워크 활성화 및 커널의 스펙트럼 분석은 다스케일 비선형 시스템에서 전이학습의 성공 여부를 예측할 수 있는가?

주요 결과

• TLNN에서 재학습된 합성곱 커널은 저역통과, 대역통과, 고역통과 필터 특성을 모두 포함하며, 이는 기반 시스템과 목표 시스템 간의 스펙트럼 차이와 물리적으로 일치한다.
• 기존 딥러닝 지혜와는 반대로, 얕은 층이 SGS 모델링에서 재학습에 가장 효과적이며, 목표 시스템에 대해 가장 뚜렷하고 물리적으로 의미 있는 스펙트럼 적응을 보여준다.
• 네트워크 활성화의 스펙트럼 분석 결과, 선형 변환(업데이트된 가중치에 의해 주도됨)이 스펙트럼 반응 변화의 주요 원인이며, 비선형 ReLU 활성화 효과는 특정 경우를 제외하고는 보조적 역할을 한다.
• 손실 경관 분석 결과, 얕은 층에서 재학습할 경우 매개변수 공간에서 더 평탄하고 볼록한 영역을 형성함으로써, 전이학습 중 더 쉽게 안정적으로 수렴됨을 보여준다.
• 시스템 데이터의 스펙트럼 일치도를 바탕으로, 네트워크 필터 응답과의 스펙트럼 일치를 통해 최적의 재학습 층을 성공적으로 예측함으로써, 과학적 응용 분야에서 정보 기반의 전이학습 설계를 가능하게 하였다.
• 2D 난류 설정에서, 높은 레이놀즈 수 목표 시스템의 원래 훈련 데이터의 1%만을 사용하여도 TLNN가 안정적이고 정확한 후처리 대규모eddys 시뮬레이션을 달성하였으며, 분포 외 일반화가 효과적으로 이루어짐을 입증하였다.