[논문 리뷰] ODEFormer: Symbolic Regression of Dynamical Systems with Transformers

Stéphane d’Ascoli, Sören L. Becker외 3명|arXiv (Cornell University)|2023. 10. 09.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

ODEFormer는 단일의 노이즈가 섞이거나 비정규적으로 샘플링된 궤적에서 기호적 상미분방정식(ODE)을 추론하는 새로운 트랜스포머 기반 모델이다. 이는 동역학계의 기호적 회귀에서 최신 기술 수준의 성능을 달성하며, 정확도, 노이즈 및 비정규 샘플링에 대한 강건성, 추론 속도 면에서 기존 방법들을 능가한다. 또한 종합적인 평가를 위해 ODEBench 데이터셋을 도입하였다.

ABSTRACT

We introduce ODEFormer, the first transformer able to infer multidimensional ordinary differential equation (ODE) systems in symbolic form from the observation of a single solution trajectory. We perform extensive evaluations on two datasets: (i) the existing "Strogatz" dataset featuring two-dimensional systems; (ii) ODEBench, a collection of one- to four-dimensional systems that we carefully curated from the literature to provide a more holistic benchmark. ODEFormer consistently outperforms existing methods while displaying substantially improved robustness to noisy and irregularly sampled observations, as well as faster inference. We release our code, model and benchmark dataset publicly.

연구 동기 및 목표

• 관측 데이터에서 사전 도메인 지식 없이도 해석 가능한 기호적 ODE를 추론할 수 있는 딥러닝 모델을 개발하는 것.
• 특히 노이즈가 있거나 비정규적으로 샘플링된 조건에서 기호적 동역학계 회귀를 위한 강건한 벤치마크 부족 문제를 해결하는 것.
• 합성 ODE 궤적에 대한 대규모 사전 훈련을 통해 기호적 회귀의 일반화 능력과 강건성을 향상시키는 것.
• 어텐션 기반 시퀀스 모델링을 활용해 단일 해의 궤적에서 동역학 법칙을 신속하고 확장 가능한 방식으로 추론하는 것.
• 연구를 가속화하기 위해 종합적인 벤치마크 데이터셋(ODEBench)과 훈련된 모델을 공개하는 것.

제안 방법

• ODEFormer는 임의로 생성된 ODE와 그에 해당하는 이산적 해 궤적을 포함한 대규모 합성 데이터에서 훈련된 시퀀스-투-시퀀스 트랜스포머 아키텍처를 사용한다.
• 모델은 1~4차원에 걸쳐 다양한 기호적 ODE에서 훈련되며, 임의의 초기 조건에서 수치적 적분을 통해 궤적을 생성한다.
• 추론 과정에서 모델은 시간 순서로 정렬된, 노이즈가 섞이거나 비정규적으로 샘플링된 관측치 시퀀스를 입력으로 받아 ODE 벡터장 $ f(x) $ 의 기호적 형태를 예측한다.
• 재구성 정밀도와 기호 일반화 성능 사이의 균형을 확보하기 위해 온도 스케일링을 적용한 비드 서치 디코딩을 사용한다.
• 기호 출력은 재구성 $ R^2 $-스코어와 일반화 $ R^2 $-스코어를 모두 사용해 평가되어, 노이즈에 대한 피팅과 진정한 역학 법칙 학습을 구분한다.
• 모델은 50%의 누락 데이터와 최대 5%의 관측 노이즈에 대해 강건하도록 설계되었으며, 다양한 ODE 가족에 대해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 단일의 노이즈가 섞이거나 비정규적으로 샘플링된 궤적에서 다차원 ODE의 기호적 형태를 정확히 추론할 수 있는가?
• RQ2 노이즈와 누락 관측치와 같은 현실적인 데이터 조건에서 ODEFormer의 성능은 기존 기호적 회귀 및 신경 ODE 방법과 비교해 어떻게 되는가?
• RQ3 합성 ODE에 대한 대규모 사전 훈련이 알려지지 않은 동역학계로의 일반화 능력을 얼마나 향상시키는가?
• RQ4 비드 서치 하이퍼파ram터와 온도 조절이 재구성 정확도와 기호 일반화 사이의 트레이드오프에 어떻게 영향을 주는가?
• RQ5 정교하게 구성된 다각도적인 벤치마크 데이터셋(ODEBench)이 기호적 동역학계 회귀 평가의 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• ODEFormer는 Strogatz 데이터셋과 새로 도입된 ODEBench에서 최신 기술 수준의 성능을 달성하였으며, 노이즈가 섞이거나 비정규적으로 샘플링된 조건에서도 기존 방법보다 높은 일반화 $ R^2 $-스코어를 기록하였다.
• ODEBench에서 ODEFormer는 1~4차원 시스템 전반에서 높은 성능를 유지하였으며, 유전적 프로그래밍을 사용한 기호적 회귀와 같은 베이스라인보다 유의미하게 높은 평균 일반화 $ R^2 $-스코어를 기록하였다.
• 모델은 50%의 궤적 점 누락과 최대 5%의 관측 노이즈에 대해 강건성을 보이며, 일반화 성능에 대한 영향이 최소한이었다.
• 비드 크기를 증가시키면 재구성 정확도는 향상되지만 일반화 성능에는 거의 영향을 주지 않아, 재구성과 기호 복구가 서로 다른 최적화 목표임을 시사한다.
• 63개의 과학 문헌에서 추출한 정교하게 구성된 ODE들로 이루어진 ODEBench 데이터셋은 이전의 데이터셋보다 더 종합적이고 현실적인 벤치마크를 제공한다.
• ODEFormer는 빠른 추론을 가능하게 하여 대부분의 기호적 회귀 베이스라인보다 빠르면서도 높은 정확도와 해석 가능성 유지를 달성하였다.