[논문 리뷰] Tensor network approaches for learning non-linear dynamical laws

Alex Goeßmann, Michael Götte외 4명|arXiv (Cornell University)|2020. 02. 27.

Model Reduction and Neural Networks참고 문헌 25인용 수 11

한 줄 요약

이 논문은 비선형 동역학 법칙을 데이터로부터 학습하기 위한 텐서 네트워크 기반 접근법을 제안한다. 낮은 질량의 텐서 트레인(TT) 및 선택 텐서 파arameterization을 사용하여 국소성과 확장성과 같은 물리적 제약 조건을 강제한다. 이는 최적의 텐서 랭크를 자동으로 결정하는 랭크 적응 최적화 알고리즘(SALSA)을 도입하여, 사전 구조나 복잡성에 대한 지식 없이도 고차원 시스템에서 통합 방정정식을 효율적이고 해석 가능한 방식으로 복원할 수 있도록 한다.

ABSTRACT

Given observations of a physical system, identifying the underlying non-linear governing equation is a fundamental task, necessary both for gaining understanding and generating deterministic future predictions. Of most practical relevance are automated approaches to theory building that scale efficiently for complex systems with many degrees of freedom. To date, available scalable methods aim at a data-driven interpolation, without exploiting or offering insight into fundamental underlying physical principles, such as locality of interactions. In this work, we show that various physical constraints can be captured via tensor network based parameterizations for the governing equation, which naturally ensures scalability. In addition to providing analytic results motivating the use of such models for realistic physical systems, we demonstrate that efficient rank-adaptive optimization algorithms can be used to learn optimal tensor network models without requiring a~priori knowledge of the exact tensor ranks. As such, we provide a physics-informed approach to recovering structured dynamical laws from data, which adaptively balances the need for expressivity and scalability.

연구 동기 및 목표

• 관측 데이터로부터 고차원 물리 시스템의 해석 가능한 비선형 통합 방정식을 발견하는 데 도전하는 것.
• SINDy나 기호 회귀와 같은 전통적 방법에서 발생하는 차원의 극복 문제를 텐서 네트워크 파arameterization을 활용하여 해결하는 것.
• 국소성과 상호작용의 흩어진 성질과 같은 물리적 제약 조건을 존중하는 확장 가능한 물리적 제약 조건을 반영한 기계 학습 프레임워크를 개발하는 것.
• 최적화 과정에서 모델의 표현력과 계산 효율성의 균형을 이루기 위해 자동으로 적응적인 랭크 선택을 가능하게 하는 것.
• 단순한 내삽이 아니라 구조적이고 해석 가능한 동역학 법칙을 복원하는 데이터 기반 접근법을 제공하는 것.

제안 방법

• 국소성과 흩어진 성질과 같은 물리적 제약 조건을 인코딩하기 위해 텐서 트레인(TT) 또는 선택 텐서 형식을 사용하여 통합 방정식을 텐서 네트워크로 파arameterization하는 것.
• 동적으로 텐서 랭크를 조정하면서 학습하는 데 사용되는 안정화된 교대 최소 제곱(SALSA) 알고리즘을 적용하는 것.
• 최적화 과정에서 국소 선형 시스템을 해결하고 기울기를 효율적으로 계산하기 위해 스택을 사용하여 메모리와 계산 비용의 균형을 맞추는 것.
• 일변수 기저 함수의 사전을 통해 함수 공간을 표현하고, 전체 다변수 함수는 낮은 랭크 텐서 곱으로 인코딩하는 것.
• 모델 복잡성 제어와 과적합 방지를 위해 적응형 임계값(ε)과 가중치 감소(ω)를 통한 흩어진 성질을 유도하는 정규화를 적용하는 것.
• 모델을 훈련하기 위해 잔차 최소화 목표 ‖Φθ − y‖_F 를 사용하며, 각 텐서 코어에 대해 반복적으로 업데이트하는 방식으로 진행된다.

실험 결과

연구 질문

• RQ1 텐서 네트워크 파arameterization은 고차원 동역학 시스템에서 국소성과 흩어진 성질과 같은 물리적 제약 조건을 효과적으로 인코딩할 수 있는가?
• RQ2 SALSA와 같은 랭크 적응 최적화 알고리즘은 사전 지식 없이 최적의 텐서 랭크를 자동으로 결정할 수 있는가?
• RQ3 제안된 방법은 많은 자유도를 가진 시스템으로도 효율적으로 확장 가능한가, 차원의 극복 문제를 피할 수 있는가?
• RQ4 기본 SINDy나 기호 회귀와 비교했을 때, 이 방법은 얼마나 잘 구조적이고 해석 가능한 동역학 법칙을 복원하는가?
• RQ5 이 방법은 노이즈가 많거나 데이터가 제한된 경우에도 해석성과 정확성을 유지하면서 일반화 가능한가?

주요 결과

• 선택 텐서 형식은 유한한 텐서 랭크를 보장하여 차원 수에 따라 유리한 스케일링을 이룬다. 반면 단일 TT 형식은 큰 d에 대해 스케일링이 매우 열악하다.
• SALSA 알고리즘은 학습 과정에서 최적의 텐서 랭크를 성공적으로 학습하며, 단일 TT 형식의 경우 랭크가 변수 수 d에 대해 선형적으로 증가한다.
• 기본 예제를 통해 고차원 시스템에서도 비선형 동역학 법칙을 정확하게 복원할 수 있음을 입증하였다.
• 스택의 사용은 계산 비용을 감소시키고 기울기 계산을 효율적으로 만들어 대규모 문제에 대한 최적화를 가능하게 하였다.
• 특히 많은 자유도를 가진 시스템에서 표준 SINDy나 기호 회귀보다 확장성과 해석성 면에서 뛰어난 성능을 보였다.
• 잔차 R(θ)는 최적화 과정 내내 단조롭게 감소하며, 적응형 임계값 전략(ε_new = s_min * R(θ))은 안정적인 수렴을 이끌어냈다.