[논문 리뷰] Fast PDE-constrained optimization via self-supervised operator learning

Sifan Wang, Mohamed Aziz Bhouri외 1명|arXiv (Cornell University)|2021. 10. 25.

Model Reduction and Neural Networks참고 문헌 55인용 수 5

한 줄 요약

이 논문은 쌍체 훈련 데이터가 필요 없이 매개변수화된 PDE의 해 연산자를 학습하여 PDE 제약 최적화를 가속화하는 자기지도 학습 기반 물리 기반 DeepONet 프레임워크를 제안한다. 이 방법은 연속적인 제어 및 설계 변수에 대해 빠르고 미분 가능하며 고차원적인 최적화를 가능하게 하며, 항력 최소화 및 열전달 문제에서 부등호 오차 1% 미만으로 약 1000배의 속도 향상을 달성한다.

ABSTRACT

Design and optimal control problems are among the fundamental, ubiquitous tasks we face in science and engineering. In both cases, we aim to represent and optimize an unknown (black-box) function that associates a performance/outcome to a set of controllable variables through an experiment. In cases where the experimental dynamics can be described by partial differential equations (PDEs), such problems can be mathematically translated into PDE-constrained optimization tasks, which quickly become intractable as the number of control variables and the cost of experiments increases. In this work we leverage physics-informed deep operator networks (DeepONets) -- a self-supervised framework for learning the solution operator of parametric PDEs -- to build fast and differentiable surrogates for rapidly solving PDE-constrained optimization problems, even in the absence of any paired input-output training data. The effectiveness of the proposed framework will be demonstrated across different applications involving continuous functions as control or design variables, including time-dependent optimal control of heat transfer, and drag minimization of obstacles in Stokes flow. In all cases, we observe that DeepONets can minimize high-dimensional cost functionals in a matter of seconds, yielding a significant speed up compared to traditional adjoint PDE solvers that are typically costly and limited to relatively low-dimensional control/design parametrizations.

연구 동기 및 목표

• 차원의 극복 문제와 고가의 PDE 해법으로 인한 고차원 PDE 제약 최적화의 계산 불가능성 해결.
• 대규모 훈련 데이터가 필요하고 매개변수 변화에 대해 낮은 강건성을 보이는 전통적 감소 차원 모델의 한계 극복.
• 쌍체 입력-출력 데이터가 필요 없는, 미분 가능하고 빠른 PDE 해 연산자에 대한 대체 모델 개발.
• 딥 연산자 네트워크를 사용해 연속적이고 무한차원의 제어 함수(예: 시간에 따라 변하는 또는 형상 매개변수)에 대한 최적화 가능.
• 고정밀도 및 고속도를 확보하면서 실시간 최적 제어 및 형상 최적화에서의 프레임워크 유효성 입증.

제안 방법

• 라벨이 없는 입력-출력 쌍이 필요 없이 자기지도 학습 방식으로 매개변수화된 PDE의 해 연산자를 학습하기 위해 물리 기반 DeepONet 활용.
• 손실 함수에 직접적으로 유도된 잔차 손실(해 governing PDE, 경계 조건, 초기 조건)을 최소화하여 DeepONet 훈련.
• 입력 함수(예: 제어 입력 또는 기하 구조 매개변수)를 잠재 공간 표현으로 인코딩하고, 임의의 시공간 해상도에서 전체 필드 해(예: 속도, 압력, 온도) 예측.
• 학습된 DeepONet를 통해 역전파를 수행하여 비용 기능의 연속적 제어 변수에 대한 기울기를 계산하고, 기울기 기반 최적화 가능.
• 비용이 많이 드는 애드조인트 솔버를 대체하기 위해 학습된 DeepONet를 기울기 하강 루프에 통합하여 PDE 제약 최적화 문제 해결.
• 정량적 비교를 위해 고정밀도 FEniCS 기반 솔버를 사용해 기준 해 생성 및 검증.

실험 결과

연구 질문

• RQ1 물리 기반 DeepONet는 쌍체 훈련 데이터가 필요 없이 PDE 제약 최적화를 위한 신속하고, 기울기 가능하며 정확한 대체 모델로 기능할 수 있는가?
• RQ2 DeepONet는 최적 제어 및 형상 최적화 문제에서 연속적이고 무한차원의 제어 및 설계 변수를 얼마나 잘 다룰 수 있는가?
• RQ3 기존의 애드조인트 유한요소 솔버와 비교했을 때, DeepONet 기반 최적화 프레임워크의 속도 및 정확도는 어떠한가?
• RQ4 시간에 따라 변화하는 열전달 및 복잡한 기하 구조를 가진 스토크스 유동과 같은 복잡한 PDE를 해결할 때도 이 프레임워크는 높은 정확도를 유지할 수 있는가?
• RQ5 자기지도 학습 기반 DeepONet는 다양한 매개변수 범위 및 예측되지 않은 구성에 대해 일반화 능력이 있는가?

주요 결과

• 제안된 DeepONet 기반 프레임워크는 열전달 최적 제어 및 항력 최소화 문제를 1회 최적화 실행당 10초 이내로 달성하여 기존 애드조인트 솔버 대비 약 1000배의 속도 향상을 보였다.
• 스토크스 유동 항력 최소화 문제에서 예측된 최적의 장애물 형상은 FEniCS에서 생성한 기준 해와 비교해 상대 L² 오차가 0.51%에 불과했다.
• 스토크스 유동 케이스에서 물리 기반 DeepONet는 속도 필드에 대해 0.97% ± 0.24%, v성분에 대해 4.79% ± 0.53%, 압력 필드에 대해 1.53% ± 0.67%의 테스트 오차를 기록했다.
• 이 방법은 제어 공간을 유한차원 벡터로 이산화하지 않고도 연속적인 제어 함수(예: 시간에 따라 변화하는 열원, 장애물 형상 등)에 대해 최적화를 성공적으로 수행했다.
• 프레임워크는 미세조정 또는 재훈련 없이도 예측되지 않은 매개변수 구성에 대해 강건성과 일반화 능력을 보였다.
• 자기지도 학습 훈련 철학은 대규모 시뮬레이션 데이터 세트가 필요 없게 하여 기존 감소 차원 모델링 대비 데이터 확보 비용을 크게 감소시켰다.