[논문 리뷰] Physics-informed Convolutional Neural Networks for Temperature Field Prediction of Heat Source Layout without Labeled Data

Xiaoyu Zhao, Zhiqiang Gong외 3명|arXiv (Cornell University)|2021. 09. 26.

Model Reduction and Neural Networks참고 문헌 28인용 수 11

한 줄 요약

이 논문은 레이블이 부여된 시뮬레이션 데이터가 필요 없이 열원 레이아웃에서 정 steady-state 온도장 예측을 위한 물리 기반 컨볼루션 신경망(PINN)을 제안한다. 유한 차분을 통한 열전도 방정식 통합과 반사 팯킹을 통한 경계 조건의 하드 제약을 통해 모델은 전체 가족의 PDE를 해결하도록 학습하며, 유한 차분 방법과 데이터 기반 모델 수준의 예측 정확도를 달성한다.

ABSTRACT

Recently, surrogate models based on deep learning have attracted much attention for engineering analysis and optimization. As the construction of data pairs in most engineering problems is time-consuming, data acquisition is becoming the predictive capability bottleneck of most deep surrogate models, which also exists in surrogate for thermal analysis and design. To address this issue, this paper develops a physics-informed convolutional neural network (CNN) for the thermal simulation surrogate. The network can learn a mapping from heat source layout to the steady-state temperature field without labeled data, which equals solving an entire family of partial difference equations (PDEs). To realize the physics-guided training without labeled data, we employ the heat conduction equation and finite difference method to construct the loss function. Since the solution is sensitive to boundary conditions, we properly impose hard constraints by padding in the Dirichlet and Neumann boundary conditions. In addition, the neural network architecture is well-designed to improve the prediction precision of the problem at hand, and pixel-level online hard example mining is introduced to overcome the imbalance of optimization difficulty in the computation domain. The experiments demonstrate that the proposed method can provide comparable predictions with numerical method and data-driven deep learning models. We also conduct various ablation studies to investigate the effectiveness of the network component and training methods proposed in this paper.

연구 동기 및 목표

• 레이블이 부여된 시뮬레이션 데이터 생성이 비용이 많이 들기 때문에 열 시뮬레이션 대체 모델링에서 데이터 확보의 한계를 해결하기 위해.
• 페어링된 훈련 데이터가 필요 없이 열원 레이아웃에서 온도장을 예측할 수 있는 딥 러닝 대체 모델을 개발하기 위해.
• 유한 차분 기반 손실 함수를 통해 열전도 PDE와 같은 물리 법칙을 훈련 과정에 직접 통합하기 위해.
• 반사 패딩을 통한 하드 제약 조건을 통해 딜리클레 및 뉴먼 경계 조건을 강제함으로써 모델 수렴 및 정확도를 향상시키기 위해.
• 픽셀 수준의 온라인 하드 예외 샘플링과 잘 설계된 UNet 기반 CNN을 활용하여 최적화 안정성과 예측 정밀도를 향상시키기 위해.

제안 방법

• 모델은 입력(이산적 열원 레이아웃)에서 출력(온도장 예측)으로의 맵핑을 위해 U-Net 기반 CNN 아키텍처를 사용하며, 둘 다 2차원 공간 격자로 간주한다.
• 정 steady-state 열전도 PDE의 유한 차분 근사를 사용하여 물리 기반 손실 함수를 구성하며, 도메인 전역에서 잔여 위반을 벌점한다.
• 반사 패딩을 통한 딜리클레 및 뉴먼 경계 조건의 하드 제약 조건을 구현하여 잘못된 해를 방지하고 수렴 속도를 향상시킨다.
• 픽셀 수준의 온라인 하드 예외 샘플링을 적용하여 도메인 전역에서 최적화 난이도를 균형 잡고, 높은 예측 오차가 있는 영역에 집중적으로 훈련한다.
• 훈련 안정성과 예측 정확도 향상을 위해 그룹 정규화(GN), 이중선형 업샘플링, GELU 활성화 함수를 사용한다.
• 백프로파게이션을 사용하여 엔드 투 엔드로 모델을 훈련하며, 물리 기반 손실 함수가 레이블이 없는 데이터를 사용하여 PDE와 경계 조건을 만족하도록 네트워크를 이끌어낸다.

실험 결과

연구 질문

• RQ1 물리 기반 CNN는 레이블이 없는 시뮬레이션 데이터 없이도 열원 레이아웃에서 온도장을 예측할 수 있는가?
• RQ2 반사 패딩을 통한 하드 경계 조건 강제가 모델의 수렴과 정확도에 어떤 영향을 미치는가?
• RQ3 정규화, 업샘플링, 활성화 함수 등의 다양한 네트워크 구성 요소가 예측 성능에 미치는 영향은 무엇인가?
• RQ4 온라인 하드 예외 샘플링은 이질적인 도메인에서 최적화 안정성과 예측 정밀도를 어떻게 향상시키는가?
• RQ5 제안된 방법은 열 대체 모델링에서 수치 해석기와 데이터 기반 모델 수준의 예측 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 두 가지 다른 테스트 케이스에서 각각 0.0108과 0.0275의 테스트 평균 절대 오차(MAE)를 달성하여, 유한 차분 방법(FDM) 결과와 유사한 정확도를 확보했다.
• 반사 패딩은 오차 전파를 방지하고 경계 손실 값을 감소시켜 제로 패딩보다 우수한 성능을 보이며 전반적인 예측 정확도를 크게 향상시켰다.
• 그룹 정규화(GN)는 배치 정규화(BN)나 인스턴스 정규화(IN)보다 유의미하게 높은 성능을 보였으며, GN이 가장 안정적이고 정확한 결과를 보였다.
• 이중선형 업샘플링은 두 테스트 케이스 모두에서 전치 컨볼루션보다 우수한 성능을 보였으며, 더 정확하고 부드러운 온도장 예측을 이끌었다.
• GN, 이중선형 업샘플링, GELU 활성화 함수의 조합이 가장 우수한 성능을 보였으며, BN과 ReLU를 사용한 경우 대비 테스트 MAE가 56% 감소했다.
• 작은 배치 크기(예: 1)는 더 큰 배치 크기(예: 16)보다 더 좋은 수렴과 낮은 MAE를 보였으며, 이는 더 많은 훈련 스텝이 이 작업에서 모델 학습에 유리함을 시사한다.