[논문 리뷰] Optimizing Neural Networks via Koopman Operator Theory

Akshunna S. Dogra, William T. Redman|arXiv (Cornell University)|2020. 06. 03.

Model Reduction and Neural Networks참고 문헌 25인용 수 6

한 줄 요약

이 논문은 쿠르만 연산자 이론을 활용해 가중치와 편향의 진동을 선형 동적 시스템으로 모델링함으로써 딥 네ural 네트워크 최적화를 가속화하는 새로운 방법인 Koopman 훈련을 제안한다. 파artitioned 행렬 계산을 통해 쿠르만 연산자를 근사화함으로써, 피드포워드 및 완전히 연결된 네트워크에서 아담, 아다그라드, 아다델타보다 10배 이상 빠른 훈련을 달성하였으며, 비정상적인 훈련 간격 동안에도 가중치 동역학을 정확하게 예측하였다.

ABSTRACT

Koopman operator theory, a powerful framework for discovering the underlying dynamics of nonlinear dynamical systems, was recently shown to be intimately connected with neural network training. In this work, we take the first steps in making use of this connection. As Koopman operator theory is a linear theory, a successful implementation of it in evolving network weights and biases offers the promise of accelerated training, especially in the context of deep networks, where optimization is inherently a non-convex problem. We show that Koopman operator theoretic methods allow for accurate predictions of weights and biases of feedforward, fully connected deep networks over a non-trivial range of training time. During this window, we find that our approach is >10x faster than various gradient descent based methods (e.g. Adam, Adadelta, Adagrad), in line with our complexity analysis. We end by highlighting open questions in this exciting intersection between dynamical systems and neural network theory. We highlight additional methods by which our results could be expanded to broader classes of networks and larger training intervals, which shall be the focus of future work.

연구 동기 및 목표

• 쿠르만 연산자 이론과 신경망 훈련 동역학 사이의 관계를 탐구하며, 가중치와 편향의 진동을 이산 동적 시스템으로 간주한다.
• 기본 백프로파게이션에서 기인하는 비볼록 최적화 문제를 피하는 계산적으로 효율적인 쿠르만 기반 훈련 방법을 개발한다.
• 쿠르만 훈련이 확장된 훈련 간격 동안 가중치와 편향 궤적을 높은 정확도로 정확하게 예측할 수 있음을 입증한다.
• 쿠르만 훈련이 아담, 아다그라드와 같은 표준 최적화 알고리즘보다 빠른 성능을 보일 수 있는 조건에 대한 이론적 및 경험적 한계를 설정한다.
• 쿠르만 기반 최적화를 더 넓은 범위의 신경망 구조와 더 긴 훈련 기간으로 확장하기 위한 기초를 마련한다.

제안 방법

• 피드포워드 및 완전히 연결된 신경망의 훈련 과정을, 업데이트가 쿠르만 연산자에 의해 지배되는 가중치/편향 공간에서의 이산 동적 시스템으로 모델링한다.
• 초기 훈련 단계(예: MNIST의 3~5 에포크, DE 해석기의 35k~45k 스텝)에서의 데이터를 활용하여 쿠르만 연산자를 근사한다. 이때 스냅샷 가중치 및 편향 값이 활용된다.
• 쿠르만 연산자의 새로운 분할 전략을 구현하여 계산 복잡도를 감소시키며, 기울기 기반 방법과 비교해도 실행 시간 효율성이 유사하거나 더 우수하도록 보장한다.
• 선형 행렬 연산을 사용하여 쿠르만 연산자를 통해 미래의 가중치 및 편향 상태를 직접 예측함으로써 반복적 백프로파게이션을 피한다.
• 등가 시간 간격 내에서 표준 훈련 방법과 비교하여 쿠르만 훈련된 네트워크의 성능(손실, 정확도)을 검증한다.
• 에포크 구조와 확률적 훈련에서의 비정수 수렴 지점 등을 고려하여 공정한 비교를 위한 등가 훈련 시간 지표를 정의한다.

실험 결과

연구 질문

• RQ1 쿠르만 연산자 이론은 신경망의 가중치와 편향 진동을 효과적으로 모델링하고 예측하는 데 적용될 수 있는가?
• RQ2 쿠르만 기반 훈련은 표준 기울기 기반 최적화 방법에 비해 어떤 조건에서 상당한 계산 속도 향상을 달성하는가?
• RQ3 다양한 네트워크 아키텍처와 훈련 목표에서 쿠르만 연산자 예측의 가중치 및 편향 궤적 정확도는 어떠한가?
• RQ4 쿠르만 연산자의 분할 전략은 계산 효율성을 유지하면서도 예측 정확도를 유지하는 데 어떤 역할을 하는가?
• RQ5 쿠르만 훈련은 현재 실험 범위를 초월해 다른 네트워크 유형과 더 긴 훈련 간격으로 일반화될 수 있는가?

주요 결과

• 쿠르만 훈련은 신경 ODE 해석기와 MNIST 분류기 모두에서 비정상적인 훈련 간격 동안 가중치 및 편향 진동을 높은 정확도로 예측하였다.
• 동일한 작업에서 아담, 아다그라드, 아다델타보다 10배 이상의 속도 향상을 달성하였으며, 계산 비용은 한두 계단 정도 낮았다.
• 분할된 쿠르만 연산자 근사화는 이론적 및 경험적 복잡도 분석을 통해 표준 최적화 알고리즘과 비교해도 유사하거나 더 낮은 복잡도로 감소시켰다.
• MNIST 분류기의 경우, 쿠르만 훈련된 네트워크가 표준 방법이 소요하는 시간의 10% 미만으로 아다델타 훈련의 2개 에포크 추가 수준의 손실 수준에 도달하였다.
• 이 방법은 다양한 아키텍처와 최적화기, 특히 배치 업데이트를 포함한 확률적 훈련에서도 강건성을 보이며 광범위한 적용 가능성을 보였다.
• 단일 가중치 쿠르만 훈련은 전체 공간 방법의 일부 기술적 과제를 피하고 상관관계가 없는 가중치 동역학을 다룰 수 있는 잠재력을 보였지만, 고도로 분리된 경우에선 한계를 보였다.