[논문 리뷰] Chaos as an interpretable benchmark for forecasting and data-driven modelling

William Gilpin|arXiv (Cornell University)|2021. 10. 11.

Time Series Analysis and Forecasting인용 수 23

한 줄 요약

이 논문은 사전에 계산된 시계열과 수학적 주석이 포함된 131개의 알려진 혼돈 동역학계로 구성된 표준화되고 확장 가능한 벤치마크를 소개한다. 이는 예측 및 데이터 기반 모델링 기법의 해석 가능한 평가를 가능하게 한다. 주요 기여는 예측 성능가 시스템의 혼돈성(리아프노프 지수로 측정)과 강하게 상관관계가 있음을 입증한 것으로, 시스템의 생성적 성격을 활용하여 새로운 응용 분야인 서로서티 전이 학습 및 중요도 샘플링을 가능하게 했다.

ABSTRACT

The striking fractal geometry of strange attractors underscores the generative nature of chaos: like probability distributions, chaotic systems can be repeatedly measured to produce arbitrarily-detailed information about the underlying attractor. Chaotic systems thus pose a unique challenge to modern statistical learning techniques, while retaining quantifiable mathematical properties that make them controllable and interpretable as benchmarks. Here, we present a growing database currently comprising 131 known chaotic dynamical systems spanning fields such as astrophysics, climatology, and biochemistry. Each system is paired with precomputed multivariate and univariate time series. Our dataset has comparable scale to existing static time series databases; however, our systems can be re-integrated to produce additional datasets of arbitrary length and granularity. Our dataset is annotated with known mathematical properties of each system, and we perform feature analysis to broadly categorize the diverse dynamics present across the collection. Chaotic systems inherently challenge forecasting models, and across extensive benchmarks we correlate forecasting performance with the degree of chaos present. We also exploit the unique generative properties of our dataset in several proof-of-concept experiments: surrogate transfer learning to improve time series classification, importance sampling to accelerate model training, and benchmarking symbolic regression algorithms.

연구 동기 및 목표

• 시계열 예측 및 데이터 기반 모델링을 위한 표준화되고 해석 가능한 벤치마크의 부족을 해결하기 위해 다양한 과학 분야에서 유래한 다양하고 수학적으로 탄탄한 혼돈 동역학계의 컬렉션을 정리한다.
• 리아프노프 지수 및 프랙탈 차원과 같은 정량적 수학적 성질과의 상관관계를 통해 예측 모델의 성능을 체계적으로 평가할 수 있도록 한다.
• 혼돈 시스템의 생성적 성격을 활용하여 전이 학습 및 중요도 샘플링과 같은 새로운 응용 분야를 가능하게 한다.
• 데이터 기반 모델의 해석성을 향상시키기 위해 알고리즘 성능을 단순히 한 개의 시계열 내 특성 기여도에 의존하는 것이 아니라, 기저의 동역학적 성질과 연결한다.

제안 방법

• 저자들은 다양한 과학 분야에서 유래한 131개의 알려진 혼돈 동역학계를 수집하였으며, 각 시스템은 명시적인 해석적 형태와 사전 계산된 다변량 및 단변량 시계열을 포함한다.
• 각 시스템은 리아프노프 지수, 프랙탈 차원, 애트랙터 위상 기하학 등 알려진 수학적 성질로 주석이 달려 있어 동역학적 복잡성의 정량적 비교를 가능하게 한다.
• 기본 미분 방정식 또는 사상의 재통합을 통해 임의의 길이, 해상도, 확률적 성격을 가진 새로운 시계열을 생성할 수 있도록 데이터셋이 지원된다.
• 다양한 모델을 사용하여 모든 시스템에서 예측 벤치마크를 수행하고, 예측 성능를 혼돈의 수학적 측정치와 상관관계를 분석한다.
• 서로서티 전이 학습은 데이터셋의 시계열에서 특징 추출기를 사전 훈련한 후 표준 시계열 분류 벤치마크에서 미세조정하여 구현된다.
• 중요도 샘플링은 애트랙터의 기하학적 구조를 활용하여 동역학적으로 중요한 영역에 집중함으로써 모델 훈련을 가속화하는 데 적용된다.

실험 결과

연구 질문

• RQ1 리아프노프 지수로 측정된 동역학계의 혼돈 정도는 현대 기계학습 모델의 예측 성능와 어떻게 상관관계가 있는가?
• RQ2 혼돈 시스템의 생성적이고 수학적으로 구조화된 성격은 데이터 기반 모델링에서 전이 학습이나 효율적인 훈련과 같은 새로운 응용 분야를 가능하게 하는가?
• RQ3 알고리즘의 기호 회귀 성능은 단지 문법적 공식 복잡성 외에도, 대상 시스템의 내재된 동역학적 복잡성에 따라 달라지는가?
• RQ4 혼돈 시스템이 모델 성능를 기계적 성질과 연결하는 기반 동역학의 특성에 기반한 해석 가능한 벤치마크로 얼마나 잘 기능할 수 있는가?

주요 결과

• 다양한 모델에 걸쳐 예측 성능는 리아프노프 지수와 강하게 상관관계가 있으며, 이는 높은 혼돈성일수록 예측 가능성이 낮아진다는 것을 확인한다.
• 기호 회귀 알고리즘은 더 혼돈스러운 시스템에서 상당히 높은 오차율을 보이며, 국소 근사자들의 더 넓고 복잡한 검색 공간이 존재함을 시사한다.
• 애트랙터 기하학 기반 중요도 샘플링은 동역학적으로 중요한 영역에 집중함으로써 훈련 시간을 단축시키고 샘플 효율성을 향상시킨다.
• 혼돈 시스템에서 시간 스케일에 맞는 표현을 활용하여 데이터셋을 기반으로 한 서로서티 전이 학습은 표준 시계열 분류 벤치마크에서 성능을 향상시킨다.
• 데이터셋의 생성 능력 덕분에 임의의 길이의 시계열을 합성할 수 있어 정적 데이터셋을 초월한 확장 가능하고 사용자 맞춤형 벤치마킹을 가능하게 한다.
• 더 혼돈스러운 시스템은 더 다양한 국소 근사자들을 생성하며, 이는 기호 회귀 검색 공간의 복잡성을 증가시켜 관측된 성능 저하를 설명한다.