[논문 리뷰] On the Convergence of the SINDy Algorithm

Linan Zhang, Hayden Schaeffer|arXiv (Cornell University)|2018. 05. 16.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 11

한 줄 요약

이 논문은 SINDy 알고리즘에 대한 이론적 수렴 보장을 제공하며, $\beta^{0}$-패널티가 부여된 최소제곱 문제의 국소 최소화자를 근사함을 증명한다. 수렴을 위한 충분조건, 수렴 속도, 그리고 한 번의 반복에서의 복원 조건을 설정하여 경험적 관찰을 검증하고 관련 알고리즘으로의 확장을 가능하게 한다.

ABSTRACT

One way to understand time-series data is to identify the underlying dynamical system which generates it. This task can be done by selecting an appropriate model and a set of parameters which best fits the dynamics while providing the simplest representation (i.e. the smallest amount of terms). One such approach is the sparse identification of nonlinear dynamics framework [6] which uses a sparsity-promoting algorithm that iterates between a partial least-squares fit and a thresholding (sparsity-promoting) step. In this work, we provide some theoretical results on the behavior and convergence of the algorithm proposed in [6]. In particular, we prove that the algorithm approximates local minimizers of an unconstrained $\ell^0$-penalized least-squares problem. From this, we provide sufficient conditions for general convergence, rate of convergence, and conditions for one-step recovery. Examples illustrate that the rates of convergence are sharp. In addition, our results extend to other algorithms related to the algorithm in [6], and provide theoretical verification to several observed phenomena.

연구 동기 및 목표

• 시간 시리즈 데이터로부터 희소 동역학 시스템을 식별하는 SINDy 알고리즘의 수렴 행동을 이론적으로 분석하는 것.
• SINDy 알고리즘이 해로 수렴하는 데 필요한 충분조건을 설정하는 것.
• 수렴 속도를 정량화하고 참 희소 모델을 한 번의 반복에서 복원할 수 있는 조건을 규명하는 것.
• 빠른 수렴과 희소성 촉진과 같은 관측된 경험적 행동에 대한 이론적 근거를 제공하는 것.
• SINDy 프레임워크 내의 관련 알고리즘으로 이론적 결과를 확장하는 것.

제안 방법

• 알고리즘은 반복적 임계값 설정 방식으로 공식화된다: 각 단계에서 임계값 파ameter $\lambda$에 따라 지지 집합이 갱신되고, 현재 지지 집합 위에서 최소제곱 해가 계산된다.
• 방법은 SINDy가 생성하는 수열이 비제약 $\ell^{0}$-패널티가 부여된 최소제곱 문제의 최소화 수열을 이룬다는 것을 보여줌으로써 분석된다.
• 알고리즘이 $\ell^{0}$-패널티가 부여된 문제의 국소 최소화자를 근사함을 증명함으로써 수렴을 확립한다.
• 이론적 수렴 속도를 유도하고, 참 희소 모델을 한 번의 반복에서 복원할 수 있는 조건을 특성화한다.
• 이론적 분석을 $\ell^{1}$-정규화 또는 강건한 회귀를 사용하는 알고리즘과 같은 관련 알고리즘으로 확장하여 보다 넓은 적용 가능성을 확보한다.
• Thomas 시스템을 이용한 수치 실험은 이론적 결과를 검증하며, 다양한 노이즈 수준에서 역학의 정확한 복원을 보여준다.

실험 결과

연구 질문

• RQ1 SINDy 알고리즘이 의미 있는 해로 수렴하는가? 만약 그렇다면, 어떤 유형의 해를 근사하는가?
• RQ2 SINDy 알고리즘이 수렴하는 데 필요한 조건은 무엇이며, 그 수렴 속도는 어떻게 되는가?
• RQ3 어떤 조건에서 SINDy 알고리즘이 단 한 번의 반복으로 참 희소 모델을 복원할 수 있는가?
• RQ4 알고리즘의 행동은 기저의 $\ell^{0}$-패널티가 부여된 최적화 문제와 어떻게 관련이 있는가?
• RQ5 이론적 결과는 강건하거나 그룹 희소 정규화를 갖는 다른 SINDy 프레임워크 변형으로 확장될 수 있는가?

주요 결과

• SINDy 알고리즘은 $\ell^{0}$-패널티가 부여된 최소제곱 문제의 국소 최소화자를 근사함으로써 그 경험적 성공에 대한 이론적 기반을 제공한다.
• 알고리즘은 이론적 수렴 속도가 날카롭게 빠르게 수렴하며, 수치 예제로 확인되었다.
• 특정 조건 하에서 한 번의 반복에서의 복원이 가능하며, 이는 참 모델이 충분히 희박하고 데이터가 일정한 비일관성 성질을 만족할 경우에 해당한다.
• 이론적 분석은 일반적으로 반복적 정밀 조정이 필요하다는 것을 확인한다. 단순히 최소제곱 해에 대해 임계값을 적용하는 것만으로는 참 희소 모델을 복원할 수 없다.
• 노이즈 분산 $\sigma^2 = 0.1$ 인 Thomas 시스템의 경우, 식별된 시스템은 참 역학과 매우 유사하며 오차 $E(x) = 0.0023$이고 계수는 두 자리 유의 숫자까지 정확하다.
• 더 높은 노이즈($\sigma^2 = 0.5$) 조건에서도 알고리즘은 정성적으로 올바른 시스템을 복원하며 $E(x) = 0.0267$이며, 장시간 시뮬레이션 동안 궤도는 참 역학과 가까이 유지된다.