[논문 리뷰] An unsupervised learning approach to solving heat equations on chip based on Auto Encoder and Image Gradient

Haiyang He, Jay Pathak|arXiv (Cornell University)|2020. 07. 19.

Model Reduction and Neural Networks참고 문헌 35인용 수 20

한 줄 요약

이 논문은 솔루션 데이터가 필요 없이 칩의 2차원 및 3차원 열 방정식을 해결하기 위해 오토인코더(AE)와 이미지 기울기(IG)-기반 신경망을 결합한 비지도 학습 프레임워크를 제안한다. AE는 다양한 소스 항력(예: 칩 전력 맵)을 압축하고 인코딩하며, IG 네트워크는 이차 유한 차분을 사용해 편미분방정식(PDE) 잔차를 강제로 구현한다. 이로 인해 새로운 소스 항력에 대해 낮은 오차(MAPE ≤ 0.4%)로 일반화가 가능하다.

ABSTRACT

Solving heat transfer equations on chip becomes very critical in the upcoming 5G and AI chip-package-systems. However, batches of simulations have to be performed for data driven supervised machine learning models. Data driven methods are data hungry, to address this, Physics Informed Neural Networks (PINN) have been proposed. However, vanilla PINN models solve one fixed heat equation at a time, so the models have to be retrained for heat equations with different source terms. Additionally, issues related to multi-objective optimization have to be resolved while using PINN to minimize the PDE residual, satisfy boundary conditions and fit the observed data etc. Therefore, this paper investigates an unsupervised learning approach for solving heat transfer equations on chip without using solution data and generalizing the trained network for predicting solutions for heat equations with unseen source terms. Specifically, a hybrid framework of Auto Encoder (AE) and Image Gradient (IG) based network is designed. The AE is used to encode different source terms of the heat equations. The IG based network implements a second order central difference algorithm for structured grids and minimizes the PDE residual. The effectiveness of the designed network is evaluated by solving heat equations for various use cases. It is proved that with limited number of source terms to train the AE network, the framework can not only solve the given heat transfer problems with a single training process, but also make reasonable predictions for unseen cases (heat equations with new source terms) without retraining.

연구 동기 및 목표

• 솔루션 데이터가 필요한 지도 학습의 데이터 집약적 성향을 해결하기 위해 솔루션 데이터가 필요 없도록 한다.
• 각 새로운 소스 항력에 대해 재학습이 필요한 물리 기반 신경망(PINNs)의 한계를 극복한다.
• 재학습 없이도 새로운 칩 전력 맵에 대해 온도 프로파일을 예측할 수 있도록 훈련된 모델의 일반화를 가능하게 한다.
• 다양한 소스 항력과 동시에 여러 열 방정식을 해결할 수 있는 단일 훈련 프로세스를 개발한다.
• 5G 및 AI 칩-패kg-시스템의 열 시뮬레이션 효율성과 확장성을 향상시킨다.

제안 방법

• 다양한 소스 항력(예: 칩 전력 맵)을 저차원 잠재 공간으로 압축하고 인코딩하기 위해 오토인코더(AE)를 사용한다.
• 구조적 격자에서 이차 중심 차분 방법을 구현하는 이미지 기울기(IG)-기반 신경망을 설계하여 열 방정식 PDE 잔차를 강제로 구현한다.
• 지상 진실 솔루션 데이터 없이도 PDE 잔차와 경계 조건만을 사용해 하이브리드 AE-IG 프레임워크를 종단 간(end-to-end)으로 훈련한다.
• 단일 실질적인 칩 전력 맵에서 이미지 증강(이동, 회전)을 적용하여 다양한 훈련 소스 항력을 생성한다.
• 자동 미분을 사용해 손실 역전파를 위한 기울기를 계산하여, PDE 제약 조건을 통해 역전파가 가능하게 한다.
• 관측 데이터가 필요 없이 PDE 잔차 손실을 최소화하고 경계 조건을 충족하도록 네트워크를 훈련한다.

실험 결과

연구 질문

• RQ1 단일 딥 러닝 모델이 솔루션 데이터 없이 하나의 훈련 프로세스로 다양한 소스 항력을 가진 여러 열 방정식을 해결할 수 있는가?
• RQ2 재학습 없이도 새로운 소스 항력(예: 회전하거나 이동된 전력 맵)에 대해 일반화할 수 있는가?
• RQ3 PDE와 경계 조건만으로 감독받는 경우, 대류를 고려한 2차원 및 3차원 열 방정식의 온도 프로파일 예측 성능은 얼마나 되는가?
• RQ4 수치 해석기법과 비교해 볼 때, 새로운 소스 항력에 대해 모델의 예측 정확도는 어떠한가?
• RQ5 AE 기반의 소스 항력 인코딩이 비지도 PDE 해결에서 일반화를 어떻게 향상시키는가?

주요 결과

• 2차원 열 방정식에 대해 다양한 전력 맵을 사용한 훈련 데이터에서 평균 절대 퍼센트 오차(MAPE)가 0.19%를 기록했다.
• 217개의 새로운 2차원 전력 맵(회전 및 이동된)에 대해 테스트 MAPE가 0.4%를 기록하여 강력한 일반화 능력을 입증했다.
• 대류를 고려한 3차원 시뮬레이션에서, 훈련 MAPE는 0.11%, 테스트 MAPE는 188개의 새로운 전력 맵에 대해 0.14%를 기록했다.
• 단일 훈련 프로세스를 통해 사인파, 지수함수, 실질적인 칩 전력 맵 소스 항력 모두를 사용해 열 방정식을 성공적으로 해결했다.
• AE-IG 프레임워크는 새로운 소스 항력에 대해 효과적으로 일반화되며, 모델이 훈련 데이터를 암기하는 것이 아니라 기초 물리 법칙을 학습하고 있음을 입증했다.
• 伝통적인 유한요소법(FEM) 또는 유체역학기법(CFD)에 비해 시뮬레이션 비용을 크게 줄였으며, 고정밀도를 유지하면서도 100배 이상의 속도 향상을 달성했다.