[논문 리뷰] No equations, no parameters, no variables: data, and the reconstruction of normal forms by learning informed observation geometries

Or Yair, Ronen Talmon외 2명|arXiv (Cornell University)|2016. 11. 30.

Model Reduction and Neural Networks참고 문헌 11인용 수 4

한 줄 요약

이 논문은 미리 알려진 방정식, 파라미터, 상태 변수에 대한 지식 없이 비선형 동역학 시스템의 정규형을 데이터 기반으로 복원하는 방법을 제안한다. 짧은 시계열 데이터에서 반복적인 거리 학습과 확산 맵을 통해 정보 있는 관측 기하학을 학습함으로써, 내재된 동역학적 제도, 위상도, 매개변수적 진화를 추론한다. 이 방법은 지표가 없고 명시적인 물리 모델이 없는 흐린, 흐트러진 궤적에서도 기반 동역학을 성공적으로 복원한다.

ABSTRACT

The discovery of physical laws consistent with empirical observations lies at the heart of (applied) science and engineering. These laws typically take the form of nonlinear differential equations depending on parameters, dynamical systems theory provides, through the appropriate normal forms, an "intrinsic", prototypical characterization of the types of dynamical regimes accessible to a given model. Using an implementation of data-informed geometry learning we directly reconstruct the relevant "normal forms": a quantitative mapping from empirical observations to prototypical realizations of the underlying dynamics. Interestingly, the state variables and the parameters of these realizations are inferred from the empirical observations, without prior knowledge or understanding, they parametrize the dynamics {\em intrinsically}, without explicit reference to fundamental physical quantities.

연구 동기 및 목표

• 비선형 시스템의 내재된 동역학적 구조를 고정된 방정식, 파라미터, 상태 변수에 대한 지식 없이 경험적 관측에서 발견하는 것.
• 다양한 매개변수 설정에서 짧고 노이즈가 많은 시계열 데이터로부터 직접 정규형을 추론함으로써 시스템의 원형 행동을 포착하는 것.
• 명시적인 물리 모델링 없이 관측 기하학을 학습하여 위상도와 매개변수적 진화를 복원하는 체계적이고 데이터 기반의 프레임워크를 개발하는 것.
• 제한된 데이터, 알려지지 않은 파라미터, 또는 복잡한 관측 함수로 인해 전통적 방법이 실패하는 상황에서의 시스템 식별을 가능하게 하는 것.
• 시간에 따라 변화하는 매개변수와 알려지지 않은 관측 함수가 존재하는 상황에서도 동역학을 복원하는 데 있어서의 강건성을 입증하는 것.

제안 방법

• 다양한 시험(매개변수 설정), 측정값(변수), 시간 점에서 온 3차원 시계열 데이터 텐서를 사용한다.
• 알고리즘 2를 통해 반복적인 거리 학습을 적용하여 데이터 내 쌍별 유사도를 활용해 매개변수, 변수, 시간 축의 기하학을 추론한다.
• 학습된 거리 기반 확산 맵을 사용하여 데이터를 낮은 차원의 다양체로 통합함으로써 각 축의 내재된 동역학을 표현한다.
• 두 축에 대해 분할 트리를 구축하여 제3의 축의 거리 기반을 유도하는 필터를 계산하며, L1 거리와 필터를 통한 특징 변환의 조합을 사용한다.
• 원시 거리와 변환된 특징 거리를 조합한 정보 기반 거리 기반을 도입한다: $\|\mathbf{y}_c - \mathbf{y}_{c'}\|_{(c)} = \|\mathbf{y}_c - \mathbf{y}_{c'}\|_1 + \gamma \|\mathcal{F}_{(c)}(\mathbf{y}_c) - \mathcal{F}_{(c)}(\mathbf{y}_{c'})\|_1$.
• 학습과 통합을 번갈아 가며 매개변수, 변수, 시간 축 전반에 걸쳐 거리 기반을 반복적으로 개선함으로써 자율적으로 일관된 동역학 제도 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 동역학 시스템의 정규형은 방정식, 파라미터, 상태 변수에 대한 사전 지식 없이 짧고 흐트러진 시계열 데이터로부터 복원될 수 있는가?
• RQ2 쌍별 유사도만을 사용하여 경험적 관측에서 내재된 동역학적 구조—위상도 및 분기 행동 등—을 어떻게 추론할 수 있는가?
• RQ3 해석적 모델이 제공되지 않는 상황에서 데이터 기반 방법이 매개변수적 진화, 특히 시간에 따라 변화하는 매개변수를 얼마나 잘 복원할 수 있는가?
• RQ4 시간에 따라 변화하는 구성 요소가 있는 시스템(예: 스프링 상수)에서, 이 방법은 다중 진동수를 신뢰성 있게 식별하고 분리할 수 있는가?
• RQ5 지표가 없거나 알려진 물리적 양이 없는 상황에서, 특히 관측 함수가 알려지지 않거나 복잡한 경우 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 이 방법은 데이터가 시각적으로 구분되지 않으며 전통적인 시각적 분석이 실패하는 상황에서도 짧은 궤적에서 시스템의 정규형을 성공적으로 복원한다.
• 시간에 따라 변화하는 스프링 상수 $k(t) = 1500t + 10$의 경우, 주어진 주기 $\omega_1 = \sqrt{g/L}$와 시간에 따라 변화하는 주기 $\omega_2(t)$를 모두 정확히 복원한다. 이는 주요 고유벡터의 푸리에 스펙트로그램으로 확인된다.
• 알고리즘을 통해 확보된 경험적 해는 시스템 내 두 개의 구분되는 진동 모드를 포착하며, 복잡한 비자율적 상황에서도 강건성을 보여준다.
• 레이블이 뒤섞여 있더라도, 명시적인 레이블 없이 데이터의 내재 기하학을 학습함으로써 정확한 동역학 제도와 시험의 매개변수 순서를 식별한다.
• 반복적인 거리 기반 학습 과정은 매개변수, 변수, 시간 축의 일관된 통합으로 수렴하며, 표 형태로 해석 가능한 진화 방정식의 복원을 가능하게 한다.
• 관측 함수가 알려지지 않거나 복잡한 경우에도 이 방법은 효과적이며, 비선형적이고 시간에 따라 변화하는 측정 함수를 가진 시스템에서 동역학을 복원하는 데 성공적으로 적용되었다.