[논문 리뷰] Extracting structured dynamical systems using sparse optimization with very few samples

Hayden Schaeffer, Giang Tran외 2명|arXiv (Cornell University)|2018. 05. 10.

Model Reduction and Neural Networks참고 문헌 25인용 수 8

한 줄 요약

이 논문은 매우 적은 수의 과도하게 샘플링된, 잡음이 있을 수 있는 측정치로부터 구조적 동적 시스템을 추출하기 위한 희소 최적화 프레임워크를 제안한다. 버스트 샘플링과 데이터 블록의 순환 치환을 활용하여, 구조적 측정치를 유계 직교 시스템의 i.i.d. 랜덤 샘플링으로 변환함으로써, 낮은 잡음 조건 하에서 계수 및 항 식별에 대한 이론적 보장을 갖는 희소 최소제곱법을 통해 정확하고 안정적인 해를 도출할 수 있다.

ABSTRACT

Learning governing equations allows for deeper understanding of the structure and dynamics of data. We present a random sampling method for learning structured dynamical systems from under-sampled and possibly noisy state-space measurements. The learning problem takes the form of a sparse least-squares fitting over a large set of candidate functions. Based on a Bernstein-like inequality for partly dependent random variables, we provide theoretical guarantees on the recovery rate of the sparse coefficients and the identification of the candidate functions for the corresponding problem. Computational results are demonstrated on datasets generated by the Lorenz 96 equation, the viscous Burgers' equation, and the two-component reaction-diffusion equations (which is challenging due to parameter sensitives in the model). This formulation has several advantages including ease of use, theoretical guarantees of success, and computational efficiency with respect to ambient dimension and number of candidate functions.

연구 동기 및 목표

• 매우 제한된 샘플과 잡음이 있는 데이터로부터 동적 시스템의 지배 방정식을 학습하는 데 도전하는 것.
• 고차원 후보 함수 공간에서 조밀한 계수 해를 유도하는 전통적인 최소제곱법이 과적합되는 문제를 해결하는 것.
• 희소하고 해석 가능한 모델을 과도하게 샘플링된 데이터로부터 계산적으로 효율적이고 이론적으로 타당한 방법으로 식별하는 것.
• 부분적으로 의존적인 랜덤 변수에 대한 베르슈타인 유사 부등식을 사용하여, 희소 계수 및 정확한 항 식별을 위한 이론적 복원 보장을 제공하는 것.
• 최소한의 샘플링 요구 조건을 충족시키면서도 다성분 및 공간적으로 불변하는 동적 시스템에 대한 희소 시스템 식별의 적용 가능성을 확장하는 것.

제안 방법

• 시간적 궤적에서 무작위로 짧고 연속적인 시간 세그먼트(버스트)를 선택하는 버스트 샘플링을 사용하여, 데이터 블록의 순환 치환 후 i.i.d. 샘플을 생성한다.
• 순환 치환을 적용하여 구조적이고 i.i.d.가 아닌 측정치를, 유계 직교 시스템의 i.i.d. 샘플링으로 변환한다.
• 지배 방정식 식별 문제를 후보 함수 사전(예: 단항식, 미분항 등)의 큰 사전 위에서 희소 최소제곱 문제로 공식화한다.
• 부분적으로 의존적인 랜덤 변수에 대한 베르슈타인 유사 부등식을 활용하여, 일관성 및 유계 조건 하에서 이론적 복원 보장을 유도한다.
• 잡음 수준을 통제하고 희소성 촉진 최적화를 사용하여 안정성과 정확한 지원 복원을 확보하며, 오차 및 일관성에 대한 이론적 경계를 제공한다.
• 사전의 일관성 조건과 유계 조건을 확보하여 샘플링 측도가 이론적 분석에 필요한 구조를 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 매우 적은 수의 샘플만 존재할 경우, 희소 최적화가 진정으로 지배 방정식을 신뢰성 있게 회복할 수 있는가?
• RQ2 구조적이고 i.i.d.가 아닌 데이터(예: 시계열 버스트)를 이론적 복원 보장을 가능하게 하는 i.i.d. 샘플링 프레임워크로 어떻게 변환할 수 있는가?
• RQ3 잡음 존재 조건 하에서 희소 최소제곱법이 정확한 계수 복원 및 정확한 항 식별을 달성하는 조건은 무엇인가?
• RQ4 버스트 크기와 버스트 내 궤적 수 사이의 상호 관계는 최적의 시스템 식별을 위한 최적의 균형을 이루는가?
• RQ5 최소한의 샘플링 조건 하에서 복잡하고 파rameter 민감도가 높은 시스템, 예를 들어 반응-확산 방정식인 Gray-Scott 방정식에 대해 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 잡음이 충분히 낮을 경우, 진짜 희소 계수 벡터의 정확한 복원과 지배 방정식 항의 정확한 식별이 이루어진다.
• 부분적으로 의존적인 랜덤 변수에 대한 베르슈타인 유사 부등식을 사용하여, 일관성 및 유계 조건 하에서 안정적이고 정확한 복원 보장을 수립하였다.
• 희소성 없이 최소제곱 해의 상대 오차는 높은 편이다 — 예를 들어, 버거스 방정식의 경우 $11\times11$ 블록에서 $E_{c,\text{LS}} = 2.8562$로 나타나, 조밀한 해로 인한 과적합을 보여준다.
• Gray-Scott 방정식의 경우, 사전 크기가 커질수록 최소제곱 오차가 크게 증가하여, $v$-성분의 $21\times21$ 블록에서 $E_{c,\text{LS}} = 7.7621$에 도달함으로써 과적합을 확인한다.
• 제안된 희소 최적화 방법은 점성 버거스 방정식 및 이원성 Gray-Scott 시스템과 같은 도전적인 케이스에서도 지배 방정식의 정확한 항을 성공적으로 식별한다.
• 환경 차원과 후보 함수의 수에 대해 계산 효율성과 확장 가능성을 유지하여 고차원 시스템에의 적용을 가능하게 한다.