[논문 리뷰] Gradient Information and Regularization for Gene Expression Programming to Develop Data-Driven Physics Closure Models

Fabian Waschkowski, Haochen Li외 6명|arXiv (Cornell University)|2022. 11. 22.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 기울기 기반 최적화와 정규화를 통합하여 정확하고 해석 가능하며 구현 가능한 물리 폐쇄 모델을 개발하기 위해 유전자 발현 프로그래밍(GEP)을 향상시킨다. 비선형 최적화를 통해 최적의 수치 상수를 학습하는 적응형 기호를 도입하고, $L_2$ 정규화 및 고유의 복잡도 지표를 적용함으로써 네 가지 응용 분야( turbulent 및 연소 모델링 포함)에서 모델 정확도와 수렴 속도가 크게 향상된다.

ABSTRACT

Learning accurate numerical constants when developing algebraic models is a known challenge for evolutionary algorithms, such as Gene Expression Programming (GEP). This paper introduces the concept of adaptive symbols to the GEP framework by Weatheritt and Sandberg (2016) to develop advanced physics closure models. Adaptive symbols utilize gradient information to learn locally optimal numerical constants during model training, for which we investigate two types of nonlinear optimization algorithms. The second contribution of this work is implementing two regularization techniques to incentivize the development of implementable and interpretable closure models. We apply $L_2$ regularization to ensure small magnitude numerical constants and devise a novel complexity metric that supports the development of low complexity models via custom symbol complexities and multi-objective optimization. This extended framework is employed to four use cases, namely rediscovering Sutherland's viscosity law, developing laminar flame speed combustion models and training two types of fluid dynamics turbulence models. The model prediction accuracy and the convergence speed of training are improved significantly across all of the more and less complex use cases, respectively. The two regularization methods are essential for developing implementable closure models and we demonstrate that the developed turbulence models substantially improve simulations over state-of-the-art models.

연구 동기 및 목표

• 기타 진화 알고리즘(예: GEP)에서 수치 상수의 정확도가 떨어지는 문제를 해결하여 신뢰할 수 있는 물리 폐쇄 모델 개발을 가능하게 한다.
• 모델 복잡도와 수치 상수 크기를 제어하기 위해 정규화 기법을 도입하여 모델의 해석 가능성과 구현 가능성을 향상시킨다.
• 데이터 기반 모델 발견을 위해 기호 회귀의 유연성과 기울기 기반 최적화의 정밀도를 결합한 프레임워크를 개발한다.
• 유체 역학 및 연소와 같은 다양한 물리 시스템에서의 효과성을 입증하여 최신 기술을 능가하는 모델을 생성한다.
• 적응형 기호 설계와 하이퍼파rameter 조정을 통해 무작위 초기화에 대한 민감도를 감소시켜 안정적이고 강건한 학습을 가능하게 한다.

제안 방법

• 학습 중에 국소적으로 최적의 수치 상수를 학습하기 위해 비선형 최적화(BFGS 및 Levenberg-Marquardt)의 기울기 정보를 활용하는 적응형 기호를 GEP에 도입한다.
• 학습된 수치 상수의 크기를 제약하기 위해 $L_2$ 정규화를 구현하여 극단적인 값이 발생해 모델 안정성이 떨어지는 것을 방지한다.
• 고유한 기호 복잡도를 기반으로 한 새로운 복잡도 지표를 제안하여 다목적 최적화를 통해 저복잡도이면서 해석 가능한 모델을 향해 유도한다.
• 네 가지 응용 분야에 대해 확장된 GEP 프레임워크를 적용한다: 수축성 점성도 법칙, 난류flame 속도 모델링, 그리고 두 가지 난류 폐쇄 모델(SGS 및 NLEVM).
• 각 응용 분야에 맞게 초기화 방법, 개체 수, 최대 실행 시간을 조정한 하이브리드 학습 전략을 사용하여 수렴성과 강건성을 확보한다.
• 정규화 파rameter를 하이퍼파rameter 연구를 통해 조정함으로써 모델 정확도, 복잡도, 수치 안정성 간 균형을 맞추기 위해 다목적 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 기울기 정보를 활용한 GEP 내 수치 상수 최적화가 기존 진화 방법에 비해 모델 정확도와 수렴 속도를 향상시키는가?
• RQ2 $L_2$ 정규화가 학습된 상수의 크기를 얼마나 줄이고 모델 안정성 및 구현 가능성에 기여하는가?
• RQ3 제안된 복잡도 지표가 저복잡도이면서 해석 가능한 폐쇄 모델을 발견하는 데 얼마나 효과적인가?
• RQ4 향상된 GEP 프레임워크는 알려진 물리 법칙(예: 수축성 법칙)을 재발견하고 복잡한 난류 모델링 과제에서 기존 모델을 능가하는가?
• RQ5 다른 최적화 알고리즘(BFGS 대 Levenberg-Marquardt)과 적응형 기호 수의 조합이 학습의 신뢰성과 성능에 어떤 영향을 미치는가?

주요 결과

• 기울기 기반 최적화를 통한 적응형 기호 통합으로 모든 응용 분야에서 학습 오차가 감소하고 수렴 속도가 향상되었으며, 스칼라 함수당 다섯 개의 적응형 기호를 사용할 때 최고의 성능를 기록했다.
• NLEVM 난류 모델의 경우, $λ = 10^{-7}$ 일 때 적응형 기호의 최대 크기가 $8.55 \times 10^{17}$ 에서 $1.12 \times 10^{1}$ 으로 감소하여 수치 안정성이 크게 향상되었다.
• $λ = 10^{-7}$ 인 모델은 테스트 MSE가 0.5770으로, 복잡도가 약간 증가했음에도 불구하고 안정성과 일반화 성능에서 비정규화 학습($\text{MSE} = 0.5558$)을 능가했다.
• 고유의 복잡도 지표와 다목적 최적화를 적용한 결과 $J_c$ 값이 낮아져 해석 가능성 향상과 계산 부담 감소를 확인할 수 있었다.
• 개발된 NLEVM 난류 모델은 최신 기술 대비 시뮬레이션 정확도를 크게 향상시켜 프레임워크의 실제 유용성을 입증했다.
• 하이퍼파rameter 연구 결과, 스칼라 함수당 $n_p = 5$ 개의 적응형 기호가 성능과 강건성 간 최적의 균형을 이룩했으며, 무작위 초기화에 대한 민감도를 최소화했다.