[논문 리뷰] Dynamical Systems and Neural Networks

Akshunna S. Dogra|arXiv (Cornell University)|2020. 04. 20.

Model Reduction and Neural Networks참고 문헌 5인용 수 4

한 줄 요약

이 논문은 동역계를 위한 신경망(NN) 솔버의 학습을 가속화하기 위해 쿠프만 연산자 이론(Koopman Operator Theory, KOT) 기반 프레임워크를 제안한다. 이는 쿠프만 연산자의 스펙트럼 성질을 활용함으로써 이루어지며, 데이터로부터 쿠프만 고유함수와 고유모드를 식별함으로써 계산 비용을 감소시키고 정확도와 미분 가능성의 손실 없이 효율적이고 비지도 학습이 가능한 NN 기반의 시스템 진화 근사치를 유지한다.

ABSTRACT

Neural Networks (NNs) have been identified as a potentially powerful tool in the study of complex dynamical systems. A good example is the NN differential equation (DE) solver, which provides closed form, differentiable, functional approximations for the evolution of a wide variety of dynamical systems. A major disadvantage of such NN solvers can be the amount of computational resources needed to achieve accuracy comparable to existing numerical solvers. We present new strategies for existing dynamical system NN DE solvers, making efficient use of the extit{learnt} information, to speed up their training process, while still pursuing a completely unsupervised approach. We establish a fundamental connection between NN theory and dynamical systems theory via Koopman Operator Theory (KOT), by showing that the usual training processes for Neural Nets are fertile ground for identifying multiple Koopman operators of interest. We end by illuminating certain applications that KOT might have for NNs in general.

연구 동기 및 목표

• 고도로 계산 비용이 드는 동역계를 위한 신경망 솔버 학습을 줄이되 정확도를 유지하기 위해.
• 신경망 학습과 쿠프만 연산자 이론(Koopman Operator Theory, KOT) 간의 기본적인 연결 고리를 수립하기 위해.
• 쿠프만 스펙트럼 정보를 활용하여 오차 보정과 수렴 가속화를 통해 효율적이고 비지도 학습이 가능한 NN을 가능하게 하기 위해.
• 쿠프만 기반 학습 전략이 기존의 기울기 기반 방법에 비해 계산 효율성 측면에서 뛰어나다는 것을 입증하기 위해.
• 쿠프만 모드와 고유함수를 사용하여 NN 기반의 동역계 솔버에서 예측 오차를 식별하고 보정하는 데의 응용을 탐색하기 위해.

제안 방법

• 신경망 가중치와 손실 함수의 진동을 올림 공간에서 선형 동적 시스템으로 모델링하기 위해 쿠프만 연산자 이론(Koopman Operator Theory, KOT)을 사용한다.
• 데이터로부터 쿠프만 고유함수와 고유값을 식별하여 손실과 가중치 갱신의 진동을 근사함으로써 스펙트럼 기반 최적화를 가능하게 한다.
• 학습 동역계를 지배하는 주요 모드를 추출하기 위해 쿠프만 모드 분해(Koopman Mode Decomposition, KMD)를 적용하여 반복적 기울기 갱신에 대한 의존도를 감소시킨다.
• 잔차 오차를 쿠프만 모드 전개로 모델링하여 손실 함수에 쿠프만 기반 오차 보정을 통합한다.
• 데이터 기반 쿠프만 연산자 근사값($\hat{U}$)을 사용하여 기존의 백프로파게이션을 대체하거나 보완함으로써 중간 계산 오버헤드를 최소화한다.
• 쿠프만 연산자의 구조를 활용하여 손실 항목을 병렬로 비 causal하게 평가할 수 있도록 하여, 원래의 NN 솔버의 비지도 학습 방식과 유사하게 동작한다.

실험 결과

연구 질문

• RQ1 쿠프만 연산자 이론은 동역계를 위한 신경망 학습 동역계를 모델링하고 가속화하는 데 사용될 수 있는가?
• RQ2 쿠프만 연산자의 스펙트럼 정보는 비지도 신경망 학습에서 수렴성 향상과 계산 비용 감소에 어떻게 기여하는가?
• RQ3 쿠프만 모드와 고유함수는 얼마나 정확히 동역계를 위한 신경망 예측 오차를 예측하고 보정하는 데 활용될 수 있는가?
• RQ4 데이터 기반 쿠프만 연산자는 기존의 기울기 하강법을 대체하거나 향상시키는 데 사용될 수 있는가?
• RQ5 쿠프만 연산자 동역계와 신경망 가중치 및 손실 함수의 수렴 행동 간의 관계는 어떠한가?

주요 결과

• 동역계를 위한 신경망 학습 과정은 쿠프만 동역계로 모델링될 수 있으며, 이는 학습 동역계의 스펙트럼 분석을 가능하게 한다.
• 쿠프만 고유함수와 고유모드는 손실과 가중치의 진동을 근사함으로써 반복적 기울기 갱신에 대한 의존도를 감소시킬 수 있다.
• 데이터 기반 쿠프만 연산자 근사값은 행렬 곱셈 수준의 계산 복잡도를 유지하면서도 비지도 학습을 효율적으로 가능하게 하며, 고비용의 도함수 계산을 피한다.
• 이 방법은 손실 항목의 병렬 평가를 가능하게 하여 순차적 의존성을 제거하고 학습 속도를 가속화한다.
• 쿠프만 기반 오차 보정은 예측 정확도를 향상시키고 특히 기울기 하강법이 느려지는 후반 수렴 단계에서 학습 시간을 단축시킨다.
• 이 프레임워크는 쿠프만 연산자가 손실 공간과 가중치 공간 양쪽에서 고정점과 불변 구조를 식별할 수 있음을 드러내며, 학습 안정성에 대한 깊은 통찰을 제공한다.