[논문 리뷰] Machine learning prediction of critical transition and system collapse

Ling-Wei Kong, Huawei Fan외 2명|arXiv (Cornell University)|2020. 12. 02.

Neural Networks and Reservoir Computing참고 문헌 1인용 수 4

한 줄 요약

이 논문은 비모델 기반의 기계학습 프레임워크를 제안하며, 매개변수 인식 임펄스 리저보아워 기반으로 비선형 동역학 시스템의 임계 전이와 시스템 붕괴를 예측한다. 분기 매개변수를 입력 채널로 포함시켜, 안정적이고 혼돈적인 상태에서의 데이터로만 훈련된 경우에도 임계 전이 시점과 붕괴 이전 평균 임시 수명을 정확하게 예측할 수 있다.

ABSTRACT

To predict a critical transition due to parameter drift without relying on model is an outstanding problem in nonlinear dynamics and applied fields. A closely related problem is to predict whether the system is already in or if the system will be in a transient state preceding its collapse. We develop a model free, machine learning based solution to both problems by exploiting reservoir computing to incorporate a parameter input channel. We demonstrate that, when the machine is trained in the normal functioning regime with a chaotic attractor (i.e., before the critical transition), the transition point can be predicted accurately. Remarkably, for a parameter drift through the critical point, the machine with the input parameter channel is able to predict not only that the system will be in a transient state, but also the average transient time before the final collapse.

연구 동기 및 목표

• 모델 기반 접근법 없이 알려진 시스템 방정식에 의존하지 않고도 비선형 동역학 시스템의 임계 전이와 붕괴를 예측하는 데이터 기반 방법을 개발하는 것.
• 기존 방법이 지속적 혼돈과 임시 혼돈을 구분하지 못하는 상황에서, 붕괴가 필수적으로 예정된 이후의 임시 혼돈 상태에 이미 진입한 시스템을 탐지하는 도전 과제를 해결하는 것.
• 시스템이 임시 혼돈 상태로 전이되는 임계 매개변수 값을 사전에 예측함으로써 붕괴 이전에 적절한 조치를 취할 수 있도록 하는 것.
• 임계점 이후의 임시 혼돈 상태의 평균 수명을 예측하여 시스템 생존 시간에 대한 정량적 추정을 제공하는 것.
• 전기력망과 생태계 영양망과 같이 치명적인 붕괴가 임시 혼돈에 의해 이르는 실제 시스템들에 대해 이 방법의 유효성을 입증하는 것.

제안 방법

• 분기 매개변수를 위한 전용 입력 채널을 추가함으로써 리저보아워 기반 기계학습 네트워크의 구조를 개선하여, 시스템 동역학이 매개변수 변화에 따라 어떻게 달라지는지 학습할 수 있도록 하는 것.
• 임계 전이 이전의 정상적이고 혼돈적인 상태에서 수집한 시간 시리즈 데이터만을 사용하여, 다양한 매개변수 값(K = 0.97, 0.98, 0.99 등)을 기반으로 리저보아워 기계를 훈련하는 것.
• 임계 전이 시점(지속적 혼돈에서 임시 혼돈으로의 전이)을 식별함으로써, 시스템의 행동이 어떻게 변화하는지 분석함으로써 임계 전이 시점을 예측하는 것.
• 임계점 이후의 예측 동역학을 분석하여 평균 임시 수명을 추정하며, 다수의 리저보아워 실현을 통한 앙상블 평균을 활용하는 것.
• 리저보아워의 일반화 능력을 활용하여, 훈련 시 사용되지 않은 매개변수 값에 대해서도 임계 전이와 임시 수명을 예측할 수 있도록 하는 것.
• 예측 결과를 검증하기 위해 리턴 맵과 임시 수명 분포를 활용하여, 수치 시뮬레이션으로부터의 진짜 값과 비교하는 것.

실험 결과

연구 질문

• RQ1 안정적이고 혼돈적인 상태에서의 데이터로만 훈련된 기계학습 모델이, 시스템이 치명적인 전이로 인해 임시 혼돈 상태로 진입하는 임계 매개변수 값을 정확히 예측할 수 있는가?
• RQ2 전이 이후 데이터에 접근할 수 없더라도, 모델이 붕괴 이전의 임시 혼돈 상태의 평균 지속 시간을 정확히 예측할 수 있는가?
• RQ3 지속적 혼돈과 임시 혼돈이 유사한 관측 가능한 행동을 보일 때, 리저보아워 기반 모델이 이 둘을 얼마나 잘 구분할 수 있는가?
• RQ4 모델이 훈련 범위를 초월한 매개변수 값으로도 일반화할 수 있는 정도는 어느 정도이며, 예측 정확도는 임계점에 가까운 훈련 포인트에서 어떻게 달라지는가?
• RQ5 이 프레임워크는 시스템 방정식이 알려져 있지 않은 복잡하고 희박하지 않은 동역학을 보이는 실제 시스템, 예를 들어 전력 시스템과 생태계 영양망에 적용 가능한가?

주요 결과

• K = 0.97, 0.98, 0.99에서 훈련된 리저보아워 기계는 삼종 영양망 모델에서 임계 전이 시점을 K*c = 0.9997 ± 4×10⁻⁴로 예측하였으며, 진짜 값인 Kc = 0.99976과 매우 유사하게 일치하였다.
• K = Kc + 2×10⁻⁴에서 예측된 평균 임시 수명은 1.35×10³이었고, 진짜 값인 1.33×10³과 뛰어난 일치를 보였다.
• 전압 붕괴에 취약한 전기력망에서 리저보아워 기반 방법이 임계 전이와 임시 수명을 성공적으로 예측하였다.
• 훈련 매개변수 범위를 초월한 시스템 행동 예측에서도 프레임워크가 강건함을 입증하였으며, 특히 임계점에 가까운 훈련 포인트를 사용할수록 정확도가 향상됨을 확인하였다.
• 500개의 리저보아워 실현에 대한 앙상블 평균을 통해 예측 오차가 크게 감소하였으며, 이는 집단적 예측이 개별 예측보다 더 정확하다는 것을 보여주었다.
• 이 방법은 이미 임시 혼돈 상태에 진입한 시스템에 대해 신뢰할 수 있는 조기 경고 시스템을 제공하며, 후행 데이터가 없더라도 붕괴의 필수성을 탐지할 수 있다.