[논문 리뷰] Curriculum learning for data-driven modeling of dynamical systems

Michele Alessandro Bucci, Onofrio Semeraro외 3명|arXiv (Cornell University)|2021. 12. 15.

Simulation Techniques and Applications인용 수 1

한 줄 요약

이 논문은 제한된 데이터에서의 정확도와 일반화 능력을 향상시키기 위해 엔트로피 기반 데이터 구조화를 활용한 커리큘럼 학습 방법을 제안한다. 특히 불안정한 고정점 근처의 낮은 엔트로피, 단순한 궤적을 먼저 학습하고, 이후 복잡하고 혼돈적인 영역으로 점진적으로 전이함으로써, 데이터가 부족한 상황에서도 강력한 장기 예측 성능을 달성한다. 이는 표준 학습 전략보다 뛰어난 성능을 발휘한다.

ABSTRACT

The reliable prediction of the temporal behavior of complex systems is key in numerous scientific fields. This strong interest is however hindered by modeling issues: often, the governing equations describing the physics of the system under consideration are not accessible or, if known, their solution might require a computational time incompatible with the prediction time constraints. Not surprisingly, approximating complex systems in a generic functional format and informing it ex-nihilo from available observations has become common practice in the age of machine learning, as illustrated by the numerous successful examples based on deep neural networks. However, generalizability of the models, margins of guarantee and the impact of data are often overlooked or examined mainly by relying on prior knowledge of the physics. We tackle these issues from a different viewpoint, by adopting a curriculum learning strategy. In curriculum learning, the dataset is structured such that the training process starts from simple samples towards more complex ones in order to favor convergence and generalization. The concept has been developed and successfully applied in robotics and control of systems. Here, we apply this concept for the learning of complex dynamical systems in a systematic way. First, leveraging insights from the ergodic theory, we assess the amount of data sufficient for a-priori guaranteeing a faithful model of the physical system and thoroughly investigate the impact of the training set and its structure on the quality of long-term predictions. Based on that, we consider entropy as a metric of complexity of the dataset; we show how an informed design of the training set based on the analysis of the entropy significantly improves the resulting models in terms of generalizability, and provide insights on the amount and the choice of data required for an effective data-driven modeling.

연구 동기 및 목표

• 제한된 데이터 또는 수집 비용이 높은 복잡한 동적 시스템에서의 신뢰할 수 있는 장기 예측 문제를 해결하기 위해.
• 복잡성 지표 기반의 구조화된 데이터 순서가 데이터 기반 모델링에서 모델의 일반화 및 수렴 성능을 향상시킬 수 있는지 조사하기 위해.
• 에르고딕 이론과 카크의 보조정리(lemma)를 활용하여 충실한 모델링을 위한 최소 데이터 요구량을 규명하기 위해.
• LSTM과 같은 순환 모델의 초기 메모리 상태가 예측 성능에 미치는 영향을 평가하기 위해.
• 데이터 기반 물리 모델링 분야의 실무자들에게 근거 기반의 최적 실천 방안을 제공하기 위해.

제안 방법

• 저자들은 에르고딕 이론과 카크의 보조정리를 활용하여, 애트랙터 차원과 시스템 역학을 바탕으로 충실한 모델링을 위한 최소 데이터 요구량을 이론적으로 추정한다.
• 복잡성 지표로 엔트로피를 도입하여 학습 데이터를 순서화하고 랭킹화하며, 낮은 복잡성과 낮은 엔트로피 궤적(예: 불안정한 고정점 근처)을 높은 엔트로피와 혼돈적인 영역보다 우선순위를 높인다.
• 엔트로피가 증가하는 순서로 데이터를 정렬하여 LSTM 신경망을 학습하는 커리큘럼 학습 전략을 구현함으로써, 단순한 동역학에서 복잡한 동역학으로 점진적으로 학습을 진행한다.
• 단순한 궤적(고정점에서의 짧은 궤적)과 전체 애트랙터 궤적을 포함한 다양한 데이터 샘플링 전략에 대해 학습 과정을 체계적으로 평가한다.
• LSTM 메모리 초기화의 영향을 분석하여, 무작위 초기화와 고정점 궤적에서 유도된 초기화를 비교한다.
• 모델 평가 기준으로 시간 시리즈 예측과 모델 차원 평가를 사용하여, 로렌츠 '63 시스템(기본적인 혼돈 동역학계)을 대상으로 방법을 검증한다.

실험 결과

연구 질문

• RQ1 에르고딕 이론에서 이론적 경계를 도출한 바에 따르면, 충실한 모델링을 위한 최소 데이터 요구량은 어떻게 되는가?
• RQ2 엔트로피 기반으로 학습 데이터를 정렬하면, 특히 제한된 데이터 상황에서 모델의 일반화 및 예측 성능 향상에 기여하는가?
• RQ3 LSTM 메모리의 초기 상태는 모델이 훈련 데이터를 초월해 일반화할 능력에 어떤 영향을 미치는가?
• RQ4 궤적 복잡성(엔트로피를 통한) 기반의 커리큘럼 전략이 장기 예측에서 표준 랜덤 또는 전체 궤적 학습보다 우월한가?
• RQ5 불안정한 고정점에서의 짧은 궤적은 복잡한 동역학을 효과적으로 학습하기 위한 데이터 효율적인 시작점이 될 수 있는가?

주요 결과

• 충실한 모델링을 위한 최소 데이터 요구량은 카크의 보조정리에 따라 애트랙터 차원에 따라 지수적으로 증가하며, 데이터가 부족할 경우 일반화 능력 저하 및 모델 실패로 이어진다.
• 불안정한 고정점 근처의 낮은 엔트로피 궤적에서 학습하는 것은 랜덤 또는 전체 커버리지 데이터 샘플링보다 유의미하게 향상된 장기 예측 성능을 제공한다.
• 엔트로피 순서 기반의 커리큘럼 전략은 이론적으로 요구되는 데이터 양 이하에서도 정확한 모델링을 가능하게 하여, 데이터 부족 문제를 효과적으로 완화한다.
• 고정점 궤적에서 유도된 메모리로 초기화된 LSTM 모델은 일반화 능력이 열악한 반면, 무작위 초기화는 훨씬 우수하고 일관된 성능을 보인다.
• 본 연구는 혼돈 시스템의 데이터 기반 모델링에서 과적합이 주요 위험임을 입증하였으며, 이전 연구에서 관찰된 높은 예측 가능성은 모델 능력이 아니라 데이터 편향 때문일 수 있음을 시사한다.
• 결과적으로 엔트로피 기반 데이터 구조화 전략이 데이터 기반 동역학계 모델링에서 원칙적이고 데이터 효율적인 전략임을 강력한 경험적 및 이론적 근거로 뒷받침한다.