[논문 리뷰] Training neural operators to preserve invariant measures of chaotic attractors

Ruoxi Jiang, Peter Y. Lu외 2명|arXiv (Cornell University)|2023. 06. 01.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 혼돈 궤도의 불변 측도—장기 동역학의 핵심 통계적 성질—를 유지하도록 신경 연산자를 훈련시키는 방법을 제안한다. 이는 전문 지식이 필요한 불변 통계를 기반으로 한 최적 운반 기반 손실과, 사전 도메인 지식이 필요 없는 대조적 특징 손실이라는 두 가지 새로운 손실 함수를 사용한다. 기존의 RMSE 기반 훈련 방식에 비해, 고노이즈 및 혼돈에 민감한 조건에서도 장기 통계 정밀도가 크게 향상된다.

ABSTRACT

Chaotic systems make long-horizon forecasts difficult because small perturbations in initial conditions cause trajectories to diverge at an exponential rate. In this setting, neural operators trained to minimize squared error losses, while capable of accurate short-term forecasts, often fail to reproduce statistical or structural properties of the dynamics over longer time horizons and can yield degenerate results. In this paper, we propose an alternative framework designed to preserve invariant measures of chaotic attractors that characterize the time-invariant statistical properties of the dynamics. Specifically, in the multi-environment setting (where each sample trajectory is governed by slightly different dynamics), we consider two novel approaches to training with noisy data. First, we propose a loss based on the optimal transport distance between the observed dynamics and the neural operator outputs. This approach requires expert knowledge of the underlying physics to determine what statistical features should be included in the optimal transport loss. Second, we show that a contrastive learning framework, which does not require any specialized prior knowledge, can preserve statistical properties of the dynamics nearly as well as the optimal transport approach. On a variety of chaotic systems, our method is shown empirically to preserve invariant measures of chaotic attractors.

연구 동기 및 목표

• 표준 RMSE 기반 훈련이 혼돈 동역계의 장기 통계적 성질을 유지하지 못하는 데서 비롯된 문제를 해결하기 위해.
• 초기 조건에 대한 지수적 민감성과 측정 노이즈가 존재하는 상황에서도 혼돈 궤도의 불변 측도를 유지할 수 있는 훈련 프레임워크를 개발하기 위해.
• 불변 측도에 대한 전문 지식이 필요 없이 통계적 성질을 유지하는 대조적 학습 접근법을 제안하기 위해.
• 단기 예측 정확도를 유지하면서도 장기 예측의 통계적 일관성을 확보하기 위해 단기 RMSE 손실과 장기 통계 유지 손실을 조합하기 위해.
• 다양한 노이즈 수준에서 커르마토-시바시킨 방정식과 같은 혼돈 PDE에 대해 제안된 방법을 실증적으로 검증하기 위해.

제안 방법

• 모델 출력과 데이터 간의 요약 통계 분포를 일치시키기 위해 서킨 과정 기반 최적 운반 손실을 도입하여 불변 측도의 유지 보장을 보장한다.
• 기본적인 불변 측도에 대한 사전 지식이 필요 없는 불변 표현을 학습하는 대조적 특징 손실을 제안한다.
• 단기 예측 정확도를 유지하기 위해 통계 유지 손실과 표준 단기 RMSE 손실을 조합한다.
• RMSE와 특징 손실 간의 트레이드오프를 조정하기 위해 하이퍼파ram터 $λ$를 사용하며, $λ=0.8$는 그리드 서치를 통해 특징 손실을 최소화하면서도 RMSE가 기준선의 110% 이내로 유지되도록 선택되었다.
• 각 궤도가 약간 다른 매개변수에서 진화하는 다중 환경 훈련 설정을 활용하여 다양한 시스템 구성에서의 일반화 능력을 향상시킨다.
• 4차 룬게-쿠타 시간 적분을 사용하여 무작위 초깃값과 다양한 노이즈 수준($r = 0.1, 0.2, 0.3$)에서 커르마토-시바시킨 PDE에 대해 방법을 검증한다.

(a) Error metrics vs. noise scale $r$ .

실험 결과

연구 질문

• RQ1 최적 운반 기반 손실로 훈련된 신경 연산자가 노이즈와 혼돈에 민감한 조건에서도 혼돈 궤도의 불변 측도를 유지할 수 있는가?
• RQ2 전문 지식이 없는 대조적 학습 프레임워크가 불변 측도에 대한 사전 지식 없이도 혼돈 시스템의 장기 통계적 성질을 유지할 수 있는가?
• RQ3 RMSE 손실과 통계 유지 손실을 조합할 경우, 단기 예측 정확도와 장기 통계 정밀도 사이의 트레이드오프는 어떻게 변화하는가?
• RQ4 다양한 노이즈 수준이 기존의 RMSE 기반 훈련과 제안된 통계 유지 방법의 성능에 어떤 영향을 미치는가?
• RQ5 다중 환경 훈련 설정이 혼돈 시스템의 다양한 동역학적 실현에서 일반화 능력을 향상시키는가?

주요 결과

• 전문 지식이 없는 대조적 특징 손실은 불변 측도를 전문 지식 기반 최적 운반 손실과 거의 동일한 정도로 유지한다.
• 노이즈 수준 $r=0.3$에서 RMSE 기준선 모델은 예측 동역학의 음수 값 수가 감소하고 고주파 신호를 잘 포착하지 못하는 등 심각한 성능 저하를 보이며, 에너지 스펙트럼을 통해 이를 확인할 수 있다.
• $λ=0.8$일 때 조합된 손실 모델은 특징 손실을 최소화하면서도 RMSE가 RMSE 전용 기준선의 110% 이내로 유지되어, 예측 정확도와 통계 정밀도 사이의 유리한 트레이드오프를 달성한다.
• 시각화 결과, 두 제안된 방법 모두 진짜 시스템과 통계적으로 일관된 동역학을 생성하지만, RMSE 전용 모델은 통계적 행동에서 벗어나는 것으로 나타났다. 특히 고노이즈 조건에서 두드러진다.
• 최적 운반 손실과 대조적 손실은 $λ$가 증가함에 따라 예상치 못한 통계 오차(불변 통계로 측정)를 효과적으로 줄이며, $λ=0.8$에서 최고 성능을 보이다가 이후 수익 감소 현상이 나타난다.
• 제안된 방법은 다양한 혼돈 시스템에서 시간 불변 통계적 성질을 성공적으로 유지하며, 고노이즈 및 혼돈에 민감한 조건에서도 강건함을 입증한다.

Figure 2 : Our proposed approaches for training neural operators. (a) Neural operators are emulators trained to take an initial state and output future states in a recurrent fashion. To ensure the neural operator respects the statistical properties of chaotic dynamics when trained on noisy data, we