[논문 리뷰] Transfer-learning-based Surrogate Model for Thermal Conductivity of Nanofluids

Saeel S. Pai, Abhijeet Banthiya|arXiv (Cornell University)|2022. 01. 02.

Nanofluid Flow and Heat Transfer인용 수 4

한 줄 요약

이 논문은 32종의 입자-유체 조합에서 구형 입자를 가진 나노유체의 열전도도를 예측하기 위해 인공신경망 기반의 전이학습 기반 서rogate 모델을 제안한다. 낮은 정확도의 상관관계 기반 데이터로 사전 훈련하고, 제한된 고품질 실험 데이터로 미세조정함으로써, 모델은 0.93의 적합도를 달성하여, 실험 데이터로만 훈련된 기준 모델(결정계수 R² = 0.83)을 크게 능가한다.

ABSTRACT

Heat transfer characteristics of nanofluids have been extensively studied since the 1990s. Research investigations show that the suspended nanoparticles significantly alter the suspension's thermal properties. The thermal conductivity of nanofluids is one of the properties that is generally found to be greater than that of the base fluid. This increase in thermal conductivity is found to depend on several parameters. Several theories have been proposed to model the thermal conductivities of nanofluids, but there is no reliable universal theory yet to model the anomalous thermal conductivity of nanofluids. In recent years, supervised data-driven methods have been successfully employed to create surrogate models across various scientific disciplines, especially for modeling difficult-to-understand phenomena. These supervised learning methods allow the models to capture highly non-linear phenomena. In this work, we have taken advantage of existing correlations and used them concurrently with available experimental results to develop more robust surrogate models for predicting the thermal conductivity of nanofluids. Artificial neural networks are trained using the transfer learning approach to predict the thermal conductivity enhancement of nanofluids with spherical particles for 32 different particle-fluid combinations (8 particles materials and 4 fluids). The large amount of lower accuracy data generated from correlations is used to coarse-tune the model parameters, and the limited amount of more trustworthy experimental data is used to fine-tune the model parameters. The transfer learning-based models' results are compared with those from baseline models which are trained only on experimental data using a goodness of fit metric. It is found that the transfer learning models perform better with goodness of fit values of 0.93 as opposed to 0.83 from the baseline models.

연구 동기 및 목표

• 나노유체에서 비정상적인 열전도도 향상 현상을 예측하기 위한 통합 이론 모델의 부족을 해결하기 위해.
• 강력한 예측 모델을 훈련하기 위한 고품질 실험 데이터의 제한된 가용성에 도전하기 위해.
• 낮은 정확도의 상관관계 데이터와 높은 정확도의 실험 데이터를 모두 활용하는 데이터 효율적인 서rogate 모델을 개발하기 위해.
• 전이학습을 활용하여 다양한 입자-유체 조합에서 열전도도 예측 정확도를 향상시키기 위해.
• 전이학습이 복잡하고 비선형적인 나노유체의 열역학 현상에 대한 기계학습 모델 향상에 효과적인지 입증하기 위해.

제안 방법

• 대규모 상관관계 기반 데이터 세트(낮은 정확도)로 사전 훈련하고, 소규모 실험 데이터 세트(높은 정확도)로 미세조정하는 전이학습 기반 인공신경망 훈련.
• 32종의 입자-유체 조합(8종의 입자 재료 × 4종의 기초 유체)을 사용하여 다양한 나노유체 시스템에서의 모델 일반화 능력을 평가.
• 두 단계 훈련 전략을 적용: 먼저 합성 상관관계 데이터로 광범위한 패턴을 학습하고, 이후 실제 실험 데이터로 정밀 조정.
• 전이학습 모델의 성능을 기준 모델(실험 데이터 전용 훈련)과 정량적으로 비교하기 위해 적합도 지표(R²)를 사용.
• 모델 수렴과 예측 정확도 최적화를 위해 표준 딥러닝 아키텍처와 하이퍼파rameter 튜닝을 적용.
• 물과 에틸렌 글리콜, 기타 일반적인 유체를 포함한 다양한 입자 유형과 기초 유체에 대해 예측을 검증함으로써 모델의 강건성을 확보.

실험 결과

연구 질문

• RQ1 전이학습을 사용한 서rogate 모델이 실험 데이터로만 훈련된 모델에 비해 나노유체의 열전도도 예측 정확도를 향상시킬 수 있는가?
• RQ2 낮은 정확도의 상관관계 데이터가 나노유체 열전도도 예측의 신경망 사전 훈련 소스로 얼마나 효과적인가?
• RQ3 전이학습 접근법이 나노유체의 다양한 입자-유체 조합에 얼마나 일반화되는가?
• RQ4 제한된 실험 데이터에 대해 전이학습을 사용할 경우, 전통적인 지도학습에 비해 성능 향상 정도는 어느 정도인가?
• RQ5 하이브리드 데이터 훈련(상관관계 + 실험)이 복잡하고 비선형적인 열역학 현상에 대해 더 강건하고 정확한 서rogate 모델을 생성할 수 있는가?

주요 결과

• 전이학습 기반 서rogate 모델은 결정계수 R²가 0.93에 도달하여, 실험 데이터 전용 훈련 기반 모델(R² = 0.83)을 크게 능가했다.
• 모델은 32종의 서로 다른 입자-유체 조합에서 강력한 일반화 능력을 보였으며, 재료 성질의 변동성에 대비한 강건성을 시사했다.
• 상관관계 기반 데이터로의 사전 훈련은 더 빠른 수렴과 개선된 초기 가중치 설정을 가능하게 하여, 낮은 데이터 품질에도 불구하고 최종 성능 향상을 이끌었다.
• 제한된 실험 데이터로의 미세조정은 상관관계 기반 예측의 체계적 편향을 효과적으로 보정하여 정확도를 향상시켰다.
• 하이브리드 훈련 전략은 과적합을 감소시키고, 특히 고품질 실험 데이터의 부족으로 인해 발생하는 모델 안정성을 향상시켰다.
• 결과적으로 전이학습은 데이터가 부족한 과학 분야인 나노유체 열역학에서 정확한 서rogate 모델 개발을 위한 타당하고 효과적인 접근법임을 확인했다.