[논문 리뷰] Transformer for Partial Differential Equations' Operator Learning

Zijie Li, Kazem Meidani외 1명|arXiv (Cornell University)|2022. 05. 26.

Model Reduction and Neural Networks인용 수 46

한 줄 요약

논문은 데이터 기반으로 PDE 해석 연산자를 학습하기 위한 주의(attention) 기반의 OFormer를 제시하며, 교차 주의(cross-attention)를 활용해 이산화에 독립적인 쿼리와 잠재 시간 전진(latent-time marching)을 활용해 시간 의존 PDE를 처리합니다.

ABSTRACT

Data-driven learning of partial differential equations' solution operators has recently emerged as a promising paradigm for approximating the underlying solutions. The solution operators are usually parameterized by deep learning models that are built upon problem-specific inductive biases. An example is a convolutional or a graph neural network that exploits the local grid structure where functions' values are sampled. The attention mechanism, on the other hand, provides a flexible way to implicitly exploit the patterns within inputs, and furthermore, relationship between arbitrary query locations and inputs. In this work, we present an attention-based framework for data-driven operator learning, which we term Operator Transformer (OFormer). Our framework is built upon self-attention, cross-attention, and a set of point-wise multilayer perceptrons (MLPs), and thus it makes few assumptions on the sampling pattern of the input function or query locations. We show that the proposed framework is competitive on standard benchmark problems and can flexibly be adapted to randomly sampled input.

연구 동기 및 목표

• 문제 특정 귀납 편향 없이 PDE 해답 연산자의 데이터 기반 학습을 동기화합니다.
• 임의의 입력/쿼리 이산화를 유연하게 처리하는 주의 기반 프레임워크를 제안합니다.
• 시간 의존 PDE를 효율적으로 모델링하기 위한 잠재 시간 전진 기제를 도입합니다.
• 잠재 공간에서 시간에 따른 PDE를 처리하여 메모리와 계산 비용을 감소시킵니다.

제안 방법

• 입력 함수 샘플로부터 출력 함수 쿼리에 대한 연산자 매핑을 학습하기 위해 점별 MLP와 함께 자기 주의(self-attention) 및 교차 주의(cross-attention)를 사용합니다.
• 임의의 쿼리 위치로부터 입력 그리드를 분리하기 위해 교차 주의 메커니즘을 채택합니다.
• 잔차 MLP 전파기를 통해 잠재 공간에서 다이나믹스를 전달하고 물리 공간으로 다시 해독하는 잠재 시간 전진 scheme을 구현합니다.
• 주의에 상대 공간 정보를 주입하기 위해 RoPE 회전 위치 인코딩을 통합합니다.
• 다양한 입력/출력 이산화에 대해 유연하게 적용되도록 이산화된 격자에서의 매 스텝 손실로 학습합니다.

실험 결과

연구 질문

• RQ1 주의 기반 아키텍처가 이산화에 독립적인 쿼리를 사용하여 PDE 해답 연산자를 학습할 수 있는가?
• RQ2 잠재 시간 전진을 사용하여 전체 시공간 ujstantiation 없이 시간 의존 PDE를 어떻게 효율적으로 모델링할 수 있는가?
• RQ3 교차 주의가 입력 그리드와 무관하게 임의의 출력 위치에서의 유연한 쿼리를 가능하게 하는가?
• RQ4 PDE 연산자 학습에서 공간 인식 능력에 대한 RoPE 기반 위치 인코딩의 영향은 무엇인가?
• RQ5 표준 PDE 벤치마크와 불규칙 격자에서 OFormer가 최첨단 연산자 학습자와 어떻게 비교되는가?

주요 결과

• 표준 PDE 벤치마크에서 OFormer는 여러 문제에서 최첨단 연산자 학습 방법과 경쟁력이 있습니다.
• 모델은 다양한 입력/출력 이산화 및 그리드 해상도에서도 견고한 성능을 보여줍니다.
• Navier–Stokes와 같은 복잡한 문제에서 데이터 풍부한 영역에서 특히 우수한 성능을 보이며, 일부 기준선보다 적은 매개변수로 유사한 정확도를 달성합니다.
• 교차 주의는 입력 그리드와 독립적으로 임의 좌표에서의 쿼리를 가능하게 합니다.
• RoPE 기반 위치 인코딩은 PDE 맥락에서 공간 관계를 인코딩하는 모델의 능력을 향상시킵니다.