[논문 리뷰] Learning Dynamical Systems and Bifurcation via Group Sparsity

Hayden Schaeffer, Giang Tran외 1명|arXiv (Cornell University)|2017. 09. 05.

Model Reduction and Neural Networks참고 문헌 38인용 수 16

한 줄 요약

이 논문은 다양한 분기 매개변수를 가진 다수의 데이터 소스로부터 동역학 시스템의 지배 방정식을 학습하기 위해 군집 기반 희소 정규화 회귀 방법을 제안한다. ℓ²,₁ 노름을 사용하여 소스 간 블록 단위의 희소성을 강제화함으로써, 이 방법은 관련 후보 함수의 동시 선택과 소스별 계수 추정을 동시에 수행하며 국소 최소화점으로의 수렴을 보장하고, 이론적 보장을 갖춘 데이터 기반 분기 분석을 가능하게 한다.

ABSTRACT

Learning governing equations from a family of data sets which share the same physical laws but differ in bifurcation parameters is challenging. This is due, in part, to the wide range of phenomena that could be represented in the data sets as well as the range of parameter values. On the other hand, it is common to assume only a small number of candidate functions contribute to the observed dynamics. Based on these observations, we propose a group-sparse penalized method for model selection and parameter estimation for such data. We also provide convergence guarantees for our proposed numerical scheme. Various numerical experiments including the 1D logistic equation, the 3D Lorenz sampled from different bifurcation regions, and a switching system provide numerical validation for our method and suggest potential applications to applied dynamical systems.

연구 동기 및 목표

• 공통된 물리 법칙을 공유하지만 분기 매개변수가 다른 다수의 데이터 소스로부터 지배 방정식을 학습하는 데 도전하는 것.
• 큰 후보 함수 집합에 대한 탐색이 계산적으로 불가능한 문제를, 모델 선택 과정에서의 희소성의 특성을 활용하여 해결하는 것.
• 매개변수가 다양함에 따라 다양한 동역학적 행동을 보이는 데이터 소스에서 정확한 매개변수 추정과 모델 발견을 가능하게 하는 것.
• 계수를 소스별로 다르게 하되, 활성 후보 함수의 공통된 구조를 유지할 수 있는 군집 희소 최적화 프레임워크를 개발하는 것.
• 사전 조건이 약간의 조건에서라도 제안된 수치적 방법의 이론적 수렴 보장을 제공하는 것.

제안 방법

• 이 방법은 후보 함수에 해당하는 계수 그룹 전체가 모두 0이거나 모두 0이 아닌 블록 단위의 희소성을 유도하기 위해 ℓ²,₁ 노름을 사용하는 군집 희소 최적화 프레임워크를 활용한다.
• 비볼록 최적화 문제를 해결하기 위해 원시-이중 알고리즘을 사용하며, 하드 스레시홀딩 단계를 통해 계수 행렬과 이중 변수를 반복적으로 갱신한다.
• 알고리즘은 최소 제곱 갱신과, 각 소스별로 가장 중요한 후보 함수 그룹만 유지하는 스레시홀딩 단계를 번갈아가며 수행한다.
• 목적 함수의 단조 감소성과 계수 갱신의 유계성으로 수렴성을 입증하며, 강력성과 스펙트럼 조건을 만족할 경우 국소 최소화점으로 수렴함을 보장한다.
• 각 소스를 별도의 데이터 스트림로 간주하여 다수의 소스에 적용하며, 공통된 후보 함수를 갖지만 소스별로 별개의 계수 벡터를 가진다.
• 이론적 분석은 데이터 행렬의 스펙트럼 성질과 강력성 상수에 기반한 계수 차이의 제곱합에 대한 경계를 포함한다.

실험 결과

연구 질문

• RQ1 군집 희소 정규화가 다양한 분기 매개변수를 가진 다수의 데이터 소스에서 동역학 시스템을 지배하는 올바른 후보 함수 집합을 효과적으로 식별할 수 있는가?
• RQ2 다양한 매개변수 영역에서 동역학적 행동이 변화하는 상황, 예를 들어 혼돈 또는 스위칭 시스템에서, 제안된 방법이 지배 방정식을 얼마나 잘 복원하는가?
• RQ3 다양한 소스 데이터로부터 동역학 시스템을 학습하는 데 사용된 군집 희소 최적화 체계에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 매개변수가 다양할 때 단일 소스 학습에 비해 다수의 데이터 소스를 사용함으로써 모델 복원 정확도가 얼마나 향상되는가?
• RQ5 기본 방정식에 대한 사전 지식 없이도, 이 방법이 데이터로부터 분기 다이어그램을 정확히 재구성할 수 있는가?

주요 결과

• 제안된 군집 희소 방법은 다양한 분기 매개변수를 가진 1차원 로지스틱 맵에 대해 진짜 지배 방정식을 성공적으로 복원하여 매개변수 변화에 대한 강건성을 입증한다.
• 다른 분기 영역에서 샘플링된 3차원 로렌츠 시스템에 대해, 방법은 활성 후보 함수를 정확히 식별하고 소스별 계수를 추정하여 데이터 기반 분기 분석을 가능하게 한다.
• 유계된 데이터 행렬 고유값과 지지 집합에서 사전 조건의 강력성 조건을 만족할 경우, 알고리즘이 국소 최소화점으로 수렴한다.
• 수치 실험 결과, 다수의 동역학적 제도를 포함하는 데이터에서 표준 희소 회귀보다 성능이 뛰어나며, 이는 소스 간에 강제된 공통 구조 덕분이다.
• 수렴 분석을 통해 계수 차이의 제곱합이 유계임을 입증하여 반복적 알고리즘의 안정성과 수렴성을 보장한다.
• 이전 연구에서 보여졌듯이, 군집 희소 이상치 탐지와 결합할 경우, 오염된 간격이 있는 혼돈 시스템의 청소된 데이터를 정확히 복원할 수 있다.