[논문 리뷰] Fourier-RNNs for Modelling Noisy Physics Data

Vignesh Gopakumar, S. Pamela외 1명|arXiv (Cornell University)|2023. 02. 13.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 노이즈가 많고 비마르코프성 있는 물리학 데이터를 모델링하기 위해 히든 스테이트 업데이트 메커니즘에 푸리에 신경 연산자(FNO)를 통합한 새로운 순환 신경망인 푸리에-RNN(F-RNN)을 제안한다. 입력-출력 및 히든 스테이트 매핑을 주파수 영역에서 학습함으로써, F-RNN은 노이즈가 많은 시계열 데이터에서 표준 RNN과 FNO보다 정확도와 학습 속도 면에서 뛰어나며, 특히 난류 및 비마르코프 영역에서 뛰어난 성능을 보인다.

ABSTRACT

Classical sequential models employed in time-series prediction rely on learning the mappings from the past to the future instances by way of a hidden state. The Hidden states characterise the historical information and encode the required temporal dependencies. However, most existing sequential models operate within finite-dimensional Euclidean spaces which offer limited functionality when employed in modelling physics relevant data. Alternatively recent work with neural operator learning within the Fourier space has shown efficient strategies for parameterising Partial Differential Equations (PDE). In this work, we propose a novel sequential model, built to handle Physics relevant data by way of amalgamating the conventional RNN architecture with that of the Fourier Neural Operators (FNO). The Fourier-RNN allows for learning the mappings from the input to the output as well as to the hidden state within the Fourier space associated with the temporal data. While the Fourier-RNN performs identical to the FNO when handling PDE data, it outperforms the FNO and the conventional RNN when deployed in modelling noisy, non-Markovian data.

연구 동기 및 목표

• 복잡한 시간 동적 특성을 지닌 노이즈가 많고 비마르코프성 있는 물리학 데이터를 모델링하는 데 있어 표준 RNN과 FNO의 한계를 해결하기 위해.
• 푸리에 표현을 통한 무한차원 함수 공간 학습을 활용하여 시계열 모델링의 일반화 능력과 강인성을 향상시키기 위해.
• RNN의 순차적 인덕티브 바이어스를 유지하면서도 FNO의 스펙트럼 효율성과 연산자 학습의 이점을 얻는 하이브리드 아키텍처를 개발하기 위해.
• 노이즈 또는 난류 조건에서 물리 시스템의 보다 정확하고 효율적인 서rogate 모델링을 가능하게 하기 위해.

제안 방법

• F-RNN 아키텍처는 RNN의 표준 히든 스테이트 업데이트를 주파수 도메인에서 작동하는 푸리에 레이어로 대체한다.
• 입력과 히든 스테이트를 스펙트럼 도메인으로 매핑하기 위해 학습 가능한 푸리에 기저 변환을 적용함으로써 무한차원 함수 공간 연산을 가능하게 한다.
• 히든 스테이트에서 다음 히든 스테이트로의 전이를 매개변수화하기 위해 주파수 영역에서 학습 가능한 가중치 행렬을 사용하며, 시간적 의존성을 유지한다.
• 디지털 푸리에 변환과 역변환을 통해 푸리에 레이어를 구현하고, 경사 하강법을 사용해 엔드 투 엔드로 학습한다.
• 입력-출력 매핑과 히든 스테이트 진화를 모두 주파수 도메인에서 수행함으로써 스펙트럼과 순차적 학습을 통합한 학습을 가능하게 한다.
• 노이즈 수준을 다양하게 조절한 PDE(나비에-스토크스 방정식, 파동 방정식)에 대해 평가하여 강인성과 일반화 능력을 평가한다.

Figure 1: Architecture of the Fourier layer applied within the FNO. It involves two sets of weight matrices $R$ and $W$ . $R$ learns the behaviour within the Fourier space while $W$ learns the behaviour within the input Euclidean space. [ 2 ]

실험 결과

연구 질문

• RQ1 RNN의 히든 스테이트 업데이트에 푸리에 신경 연산자를 통합하면 노이즈가 많고 비마르코프성 있는 물리학 데이터에서 성능 향상이 이루어지는가?
• RQ2 노이즈가 많고 복잡한 동역학을 지닌 시계열 데이터를 모델링할 때 F-RNN은 표준 RNN과 FNO보다 어떻게 비교되는가?
• RQ3 푸리에 영역에서의 학습이 물리 시스템의 서rogate 모델링에서 일반화 능력과 강인성을 향상시키는가?
• RQ4 기준 모델 대비 F-RNN은 증가하는 노이즈 수준에서도 어느 정도의 성능 유지를 보이는가?

주요 결과

• 난류 흐름이 있는 나비에-스토크스 방정식에서 F-RNN은 표준 RNN과 FNO보다 평균 제곱오차에서 뛰어난 성능을 보이며, 고노이즈 수준(N = 0.25)에서도 C-RNN가 수렴하지 못하는 상황에서도 성능이 뛰어나다.
• 노이즈 요인 0.25를 가진 2차원 파동 방정식에서 F-RNN은 테스트 손실 0.001073을 기록하여 FNO(0.001461)와 C-RNN(0.00727)를 모두 앞서며 성능을 뛰어나게 한다.
• 압류 상태의 나비에-스토크스 방정식에서 F-RNN은 저노이즈 수준에서는 FNO와 유사한 성능를 보이나, 고노이즈 수준에서 FNO를 능가하여 더 뛰어난 강인성을 보인다.
• 파동 방정식과 나비에-스토크스 실험 전반에서 F-RNN은 C-RNN 대비 테스트 손실을 두 개 이상의 지수 단위 감소시켰다.
• F-RNN은 C-RNN보다 훨씬 빠른 GPU 추론 시간을 보이며, 계산 효율성이 향상됨을 시사한다.
• F-RNN은 모든 노이즈 수준에서 안정적인 학습과 일반화를 유지하지만, 난류 나비에-스토크스 시나리오에서 C-RNN는 N ≥ 0.05일 때 붕괴된다.

Figure 2: Architecture of an RNN Cell. Each cell is parameterised by two weight matrices: $W_{x}$ and $W_{h}$ . The former learns the mappings of the input to the output while the latter learns that impact the hidden state has on the output.