[논문 리뷰] Applications of Koopman Mode Analysis to Neural Networks

Iva Manojlović, Maria Fonoberova외 5명|arXiv (Cornell University)|2020. 06. 21.

Model Reduction and Neural Networks참고 문헌 15인용 수 10

한 줄 요약

이 논문은 신경망 학습을 가중치 공간 상의 동적 시스템으로 간주하는 쿠프만 모드 분석 프레임워크를 제안한다. 이를 통해 쿠프만 스펙트럼 분석을 통한 조기 중단, 쿠프만 모드를 활용한 네트워크 프루닝, 그리고 소볼레프 노름 기반 손실 함수를 통한 노이즈 내성 향상을 실현한다. 핵심 기여는 아키텍처 설계, 학습 모니터링, 노이즈에 강건한 신호 재구성에 있어 해석 가능성과 효율성을 동시에 확보하는 데이터 기반, 연산자 이론 기반 접근법이다.

ABSTRACT

We consider the training process of a neural network as a dynamical system acting on the high-dimensional weight space. Each epoch is an application of the map induced by the optimization algorithm and the loss function. Using this induced map, we can apply observables on the weight space and measure their evolution. The evolution of the observables are given by the Koopman operator associated with the induced dynamical system. We use the spectrum and modes of the Koopman operator to realize the above objectives. Our methods can help to, a priori, determine the network depth; determine if we have a bad initialization of the network weights, allowing a restart before training too long; speeding up the training time. Additionally, our methods help enable noise rejection and improve robustness. We show how the Koopman spectrum can be used to determine the number of layers required for the architecture. Additionally, we show how we can elucidate the convergence versus non-convergence of the training process by monitoring the spectrum, in particular, how the existence of eigenvalues clustering around 1 determines when to terminate the learning process. We also show how using Koopman modes we can selectively prune the network to speed up the training procedure. Finally, we show that incorporating loss functions based on negative Sobolev norms can allow for the reconstruction of a multi-scale signal polluted by very large amounts of noise.

연구 동기 및 목표

• 신경망 학습을 고차원 가중치 공간 상의 동적 시스템으로 분석한다.
• 쿠프만 연산자의 스펙트럼과 모드를 활용해 악성 가중치 초기화를 탐지하고 최적의 네트워크 깊이를 결정한다.
• 쿠프만 스펙트럼에서 고유값이 1 근처에 군집하는 것을 모니터링하여 학습의 조기 종료를 가능하게 한다.
• 모델 성능을 유지하면서도 학습 속도를 향상시키기 위해 쿠프만 모드 기반의 프루닝 전략을 개발한다.
• 부정적 소볼레프 노름에서 유도된 손실 함수를 통해 다중모드 고노이즈 신호에 대한 강건성을 향상시킨다.

제안 방법

• 최적화 알고리즘과 손실 함수에 의해 가중치 공간 상에 유도되는 이산 동적 시스템으로 학습 과정을 모델링한다.
• 쿠프만 연산자를 가중치 공간의 관측량에 작용하는 선형이며 무한차원 연산자로 정의하여 비선형 역학을 복합함수를 통해 포괄한다.
• 학습 궤적에서 동적 모드 분해(DMD)를 사용해 쿠프만 모드와 고유값을 계산함으로써 수렴성의 스펙트럼 분석을 가능하게 한다.
• 쿠프만 스펙트럼 분석을 적용하여 고유값이 1 근처에 군집하는지 모니터링함으로써 수렴 또는 발산 여부를 탐지하고, 종료 조건을 설정한다.
• 두 가지 소볼레프 기반 손실 함수를 설계한다: 하나는 각 층에서 척도별 감독을 강제하는(Sobolev Loss 1), 다른 하나는 출력부에만 다중 척도 제약을 적용하는(Sobolev Loss 2).
• 푸리에 또는 쿠프만 스펙트럼을 사용해 다중 척도 신호를 모델링하기 위해 필요한 최소 층 수를 사전에 결정하며, 계층적 SVR 분석에 기반한다.

실험 결과

연구 질문

• RQ1 쿠프만 스펙트럼을 활용해 고유값이 1 근처에 군집할 경우를 기반으로 조기 종료를 탐지할 수 있는가?
• RQ2 쿠프만 모드가 성능 저하 없이 신경망 가중치의 선택적 프루닝을 식별하고 안내할 수 있는가?
• RQ3 쿠프만 또는 푸리에 스펙트럼은 다중 척도 신호를 모델링하기 위해 최적의 깊이를 어떻게 안내하는가?
• RQ4 부정적 소볼레프 노름에서 유도된 손실 함수가 신호 재구성에서 고노이즈 수준에 대해 강건성을 크게 향상시킬 수 있는가?
• RQ5 중간 층에서 척도별 감독을 강제하는(Sobolev Loss 1) 것이 출력층에서만 다중 척도 감독을 적용하는(Sobolev Loss 2) 것보다 노이즈가 많은 환경에서 성능이 뛰어나게 되는가?

주요 결과

• 각 층에서 척도별 감독을 강제하는 Sobolev Loss 1은 순수 L² 손실과 Sobolev Loss 2보다 고노이즈 데이터에서 다중 척도 신호 재구성에서 뛰어난 성능을 보였다.
• 노이즈 수준 ε = 1.0일 때 순수 L² 손실 함수는 신호 재구성을 실패하여 노이즈 데이터의 평균값만 생성했지만, Sobolev Loss 1은 정확한 재구성을 달성했다.
• 쿠프만 스펙트럼 분석을 통해 고유값이 1 근처에 군집하는 것이 수렴을 신뢰성 있게 나타내어 조기 종료를 가능하게 하였으며, 불필요한 학습 에포크를 방지하였다.
• 쿠프만 모드 기반 프루닝은 모델 성능을 유지하면서도 네트워크 크기를 줄여 더 빠른 추론과 학습을 가능하게 하였다.
• 다중 척도 신호를 모델링하기 위해 필요한 층 수는 쿠프만 또는 푸리에 스펙트럼을 사전에 분석함으로써 결정할 수 있었으며, 계층적 SVR 분석과 일치하였다.
• 손실 함수에 부정적 소볼레프 노름을 통합함으로써 큰 진폭의 노이즈를 효과적으로 거부할 수 있었으며, 특히 다중모드 및 고노이즈 신호 재구성 작업에서 뛰어난 성능을 발휘하였다.