[논문 리뷰] Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings

Bahador Bahmani, WaiChing Sun|ArXiv.org|2021. 07. 24.

Model Reduction and Neural Networks참고 문헌 65인용 수 14

한 줄 요약

이 논문은 다중 목표, 다중 작업 물리 기반 신경망(PINN) 프레임워크를 제안하며, 사전 훈련, 넷 투 넷 지식 전이, 기울기 수술 기반 최적화를 통합하여 상충되는 물리적 제약을 다룹니다. 벡터화된 目표 함수와 수정된 기울기 하강법을 통해 파레토 최적 해를 활용함으로써 훈련의 안정성과 수렴성을 향상시켜 기존의 가중치 합 기반 접근 방식보다 벤치마크 PDE 문제에서 뛰어난 성능을 발휘합니다.

ABSTRACT

This paper presents a PINN training framework that employs (1) pre-training steps that accelerates and improve the robustness of the training of physics-informed neural network with auxiliary data stored in point clouds, (2) a net-to-net knowledge transfer algorithm that improves the weight initialization of the neural network and (3) a multi-objective optimization algorithm that may improve the performance of a physical-informed neural network with competing constraints. We consider the training and transfer and multi-task learning of physics-informed neural network (PINN) as multi-objective problems where the physics constraints such as the governing equation, boundary conditions, thermodynamic inequality, symmetry, and invariant properties, as well as point cloud used for pre-training can sometimes lead to conflicts and necessitating the seek of the Pareto optimal solution. In these situations, weighted norms commonly used to handle multiple constraints may lead to poor performance, while other multi-objective algorithms may scale poorly with increasing dimensionality. To overcome this technical barrier, we adopt the concept of vectorized objective function and modify a gradient descent approach to handle the issue of conflicting gradients. Numerical experiments are compared the benchmark boundary value problems solved via PINN. The performance of the proposed paradigm is compared against the classical equal-weighted norm approach. Our numerical experiments indicate that the brittleness and lack of robustness demonstrated in some PINN implementations can be overcome with the proposed strategy.

연구 동기 및 목표

• 지배 방정식, 경계 조건, 열역학적 부등식과 같은 상충되는 물리적 제약으로 인해 PINN 훈련이 취약하고 불안정해지는 문제를 해결하기 위해.
• 라벨이 부여된 데이터를 활용한 사전 훈련과 넷 투 넷 지식 전이를 도입하여 보다 나은 가중치 초기화를 통해 훈련 효율성과 수렴성을 향상시키기 위해.
• 상충되는 기울기로 인한 국소 최적해에 갇히는 것을 방지하는 다중 목표 PINN를 위한 확장 가능하고 안정적인 최적화 전략을 개발하기 위해.
• 임의의 가중치 부여 방식에 의존하지 않고 경쟁하는 물리적 제약을 동시에 다룰 수 있는 다중 작업 학습을 위한 통합 프레임워크를 제공하기 위해.
• 기존의 동일 가중치 노름 접근 방식에 비해 벤치마크 경계값 문제 해결에서 제안된 방법의 우수성을 입증하기 위해.

제안 방법

• 점 클러스터에 저장된 라벨이 부여된 데이터를 사용하여 사전 훈련을 수행함으로써 전체 PINN 훈련 이전에 근사적인 초기 지식을 제공합니다.
• 더 작은 사전 훈련된 네트워크에서 더 큰 신경망으로 지식을 전이함으로써 효율적인 대규모 신경망 초기화를 수행합니다.
• 다양한 물리적 제약으로부터 유도된 상충되는 기울기를 해결하기 위해 기울기 수술 기법을 도입합니다. 이는 상충되는 목표의 기울기 벡터를 수정함으로써 구현됩니다.
• 파레토 최적 해를 확보할 수 있도록 다중 목표 최적화를 가능하게 하는 벡터화된 목적 함수 설정 방식을 사용합니다.
• 상충되는 기울기를 처리하면서도 수렴성과 안정성을 유지할 수 있도록 수정된 기울기 하강 알고리즘을 적용합니다.
• 지배 PDE, 경계 조건, 대칭성, 불변성, 열역학적 부등식 등의 다중 물리적 제약을 통합된 손실 함수에 통합합니다.

실험 결과

연구 질문

• RQ1 보조 데이터를 활용한 사전 훈련이 다중 목표 문제의 PINN 훈련에서 안정성과 수렴성 향상에 기여할 수 있는가?
• RQ2 신경망 간의 지식 전이가 대규모 PINN에서 초기화 및 훈련 효율성을 향상시키는 데 어떻게 기여하는가?
• RQ3 기울기 수술 기법이 경쟁하는 물리적 제약으로 인해 발생하는 상충되는 기울기를 효과적으로 해결할 수 있는가?
• RQ4 제안된 다중 목표 최적화 전략이 기존의 가중치 합 기반 접근 방식에 비해 정확도와 안정성 측면에서 뛰어나게 되는가?
• RQ5 이 프레임워크는 상충되는 물리적 제약를 가진 다양한 벤치마크 PDE 문제에서 얼마나 높은 수준의 안정성을 유지하는가?

주요 결과

• 제안된 프레임워크는 다수의 제약 조건을 동일한 가중치로 처리하는 기존 PINN 구현에 비해 훈련의 안정성이 크게 향상됩니다.
• 점 클러스터 데이터를 활용한 사전 훈련은 PINN 훈련의 수렴 속도를 가속화하고 열악한 국소 최적해에 빠지는 위험을 감소시킵니다.
• 넷 투 넷 지식 전이 기법은 대규모 신경망의 안정적이고 효율적인 초기화를 가능하게 하여 해의 해상도와 훈련 안정성을 향상시킵니다.
• 기울기 수술 접근 방식은 경쟁하는 물리적 제약로 인한 상충되는 기울기를 효과적으로 완화하여 더 나은 파레토 최적 해를 도출합니다.
• 수치 실험 결과, 제안된 방법은 기존의 전통적 PINN 접근 방식에 비해 벤치마크 경계값 문제에서 뛰어난 정확도와 안정성을 확보합니다.
• 이 방법은 문제 차원이 증가함에 따라 효과적으로 스케일업되며, 일부 기존의 다중 목표 최적화 기법들이 겪는 열악한 확장성 문제를 피합니다.