[논문 리뷰] Convolutional Neural Operators for robust and accurate learning of PDEs

Bogdan Raonić, R. Molinaro외 6명|arXiv (Cornell University)|2023. 02. 02.

Neural Networks and Applications인용 수 37

한 줄 요약

논문은 Convolutional Neural Operators (CNOs)를 소개한다. 이는 연속-불연속 동등성을 보존하는 CNN 기반 연산자 학습 프레임워크로, 보편 근사성과 다중 스케일 PDE 벤치마크에서의 강력한 실험 성능을 통해 PDE 해석 연산자를 학습한다.

ABSTRACT

Although very successfully used in conventional machine learning, convolution based neural network architectures -- believed to be inconsistent in function space -- have been largely ignored in the context of learning solution operators of PDEs. Here, we present novel adaptations for convolutional neural networks to demonstrate that they are indeed able to process functions as inputs and outputs. The resulting architecture, termed as convolutional neural operators (CNOs), is designed specifically to preserve its underlying continuous nature, even when implemented in a discretized form on a computer. We prove a universality theorem to show that CNOs can approximate operators arising in PDEs to desired accuracy. CNOs are tested on a novel suite of benchmarks, encompassing a diverse set of PDEs with possibly multi-scale solutions and are observed to significantly outperform baselines, paving the way for an alternative framework for robust and accurate operator learning. Our code is publicly available at https://github.com/bogdanraonic3/ConvolutionalNeuralOperator

연구 동기 및 목표

• 데이터 기반 대리모델을 활용해 PDE 해석 연산자 학습의 동기를 부여하고 질의 비용, 불확실성 정량화 및 최적화를 감소시키는 것을 목표로 한다.
• 밴드리밋 함수에서 밴드리밋 함수로 매핑하여 앨리어싱을 피하고 연속성을 보존하는 구조 보존 CNN 아키텍처(CNO)를 제안한다.
• 적절한 조건하에서 CNO가 PDE 연산자를 임의의 정확도로 근사할 수 있음을 보여주는 보편 근사 정리를 증명한다.
• 다양한 대표 PDE 벤치마크(RPB)에서 선형, 비선형, 타원형, 쌍곡형 및 준포물선 PDE를 포함한 다중 스케일 해를 평가하고, 기저 모델과 비교하며 분포 밖 일반화를 평가한다.]
• method:[
• 밴드리밋 함수 공간에서 연산자 학습을 정의해 연속-불연속 등가(CDE)를 가능하게 한다.
• CNO를 lifting P, convolution K_l, activation Sigma, 그리고 bandlimited 공간 간의 projection Q를 갖는 수정된 Operator U-Net으로 구현한다.
• 활성화, 업샘플링/다운샘플링, 그리고 ResNet 유사 블록이 대역 한계를 존중하도록 하여 앨리어싱을 피하고 다중 스케일 콘텐츠를 보존한다.
• CNO가 Representation Equivalent Neural Operator(ReNO)임을 보이고 해상도에 관계없이 동작하며 앨리어싱 없이 성능을 발휘함을 보장한다.
• 임의의 적합한 PDE 연산자 G†에 대해 바운디드 입력에서 G†를 임의의 ε까지 근사하는 CNO G가 존재함을 보이는 보편 근사 정리를 증명한다.

제안 방법

• 밴드리밋 함수 공간에서 연산자 학습을 정의해 연속-불연속 등가(CDE)를 가능하게 한다.
• INST
• CNO를 lifting P, convolution K_l, activation Sigma, 그리고 bandlimited 공간 간의 projection Q를 갖는 수정된 Operator U-Net으로 구현한다.
• INST
• 활성화, 업샘플링/다운샘플링, 그리고 ResNet 유사 블록이 대역 한계를 존중하도록 하여 앨리어싱을 피하고 다중 스케일 콘텐츠를 보존한다.
• INST
• CNO가 Representation Equivalent Neural Operator(ReNO)임을 보이고 해상도에 관계없이 동작하며 앨리어싱 없이 성능을 발휘함을 보장한다.
• INST
• 임의의 적합한 PDE 연산자 G†에 대해 바운디드 입력에서 G†를 임의의 ε까지 근사하는 CNO G가 존재함을 보이는 보편 근사 정리를 증명한다.

실험 결과

연구 질문

• RQ1 CNO가 밴드리밋 공간 내에서 광범위한 PDE 클래스의 해석 연산자를 임의의 정확도까지 근사할 수 있는가?
• RQ2 CNO가 Representational Equivalence 및 해상도 불변성을 만족해 재샘플링에 따른 앨리어싱을 피할 수 있는가?
• RQ3 CNO가 다중 스케일 PDE 벤치마크에서 최첨단 연산자 학습자(FNO, DeepONet, GT)와 어떻게 비교되는가?
• RQ4 CNO가 분포 밖 입력에 일반화하고 해상도에 따라 성능을 유지하는가?

주요 결과

• CNO는 RPB에서 분포 내외 테스트 모두에서 기준선보다 일관되게 우수하게 나타났으며 Allen-Cahn에서 FNO가 우세한 것을 제외하고 성능이 좋습니다.
• CNO는 FNO 및 U-Net과 달리 해상도 불변 동작을 달성하여 연속-불연속 등가(CDE)를 입증합니다.
• CNO는 스펙트럼이 우수하고 앨리어싱이 적으며 데이터 효율이 높아 목표 오차에 도달하는 데 필요한 샘플 수가 줄고, 비슷한 성능에서 학습 속도가 더 빠릅니다.
• Poisson, Wave, Transport, Navier-Stokes, Darcy 및 Euler 관련 과제에서 다중 스케일 처리 능력이 강하고 기준선 대비 경쟁력 있거나 우수한 성능을 보입니다.
• FNO는 여러 과제에서 강력하지만 재샘플링 시 앨리어싱 및 불변성 부족 가능성이 있어 CDE 보존 설계의 이점을 강조합니다.
• 본 연구는 공개 코드와 새로운 대표 PDE 벤치마크 모음을 제공하여 연산자 학습 방법을 벤치마킹합니다.