[논문 리뷰] Spline parameterization of neural network controls for deep learning

Stefanie Günther, Will Pazner외 1명|arXiv (Cornell University)|2021. 02. 27.

Model Reduction and Neural Networks참고 문헌 21인용 수 4

한 줄 요약

이 논문은 신경 ODE 프레임워크인 SpliNet을 제안한다. 이는 각 레이어의 가중치가 아닌 B-spline 기저 함수를 사용하여 네트워크 제어를 매개변수화한다. 레이어별 매개변수 대신 스플라인 계수를 학습시킴으로써, 더 적은 학습 가능한 매개변수로 안정적이고 정확한 전방 전파를 달성하며, 하이퍼파라미터에 대한 민감도가 낮아지고, 모델 복잡도를 증가시키지 않으면서도 적응형 시간 단계를 가능하게 한다.

ABSTRACT

Based on the continuous interpretation of deep learning cast as an optimal control problem, this paper investigates the benefits of employing B-spline basis functions to parameterize neural network controls across the layers. Rather than equipping each layer of a discretized ODE-network with a set of trainable weights, we choose a fixed number of B-spline basis functions whose coefficients are the trainable parameters of the neural network. Decoupling the trainable parameters from the layers of the neural network enables us to investigate and adapt the accuracy of the network propagation separated from the optimization learning problem. We numerically show that the spline-based neural network increases robustness of the learning problem towards hyperparameters due to increased stability and accuracy of the network propagation. Further, training on B-spline coefficients rather than layer weights directly enables a reduction in the number of trainable parameters.

연구 동기 및 목표

• 기본 잔차 및 신경 ODE 네트워크에서 발생하는 불안정성과 높은 하이퍼파라미터 민감도 문제를 해결하기 위해.
• 네트워크 동역학의 이산화와 제어 함수의 매개변수화를 분리하기 위해.
• B-spline 기반 제어 매개변수화를 통해 학습의 강건성 향상과 학습 가능한 매개변수 수 감소를 위해.
• 모델 복잡도를 증가시키지 않으면서도 적응형 시간 단계와 고차수 ODE 해법기를 가능하게 하기 위해.
• 고정밀도가 요구되는 과학적 기계학습 응용 분야에 더 안정적이고 정확한 프레임워크를 제공하기 위해.

제안 방법

• 제어 함수 θ(t)를 B-spline 기저 함수로 매개변수화한다: θ(t) = ΣαₗBₗ^d(t), 여기서 αₗ은 학습 가능한 계수이다.
• 각 레이어의 가중치 Wi와 편향 bi를 고정된 스플라인 계수 αₗ 집합으로 대체함으로써, 매개변수화와 레이어 수의 분리가 가능해진다.
• 시간 이산화된 ODE 해법기(예: 전진 오일러)를 사용하여, 레이어별 매개변수에 의존하지 않는 시간 점 tᵢ에서 상태 x(t)를 전파한다.
• 손실 ℓ(x(T), y_data) + γ∫₀ᵀR(θ(t))dt를 최소화하도록 스플라인 계수 αₗ을 최적화하여 네트워크를 학습시킨다.
• B-spline의 계층적 구조와 국소 지원 성질을 활용하여 다중 격자 또는 다중 수준 학습 전략에의 통합 가능성을 고려한다.
• 재학습 없이도 임의의 시간 점에서 스플라인 기반 제어를 평가함으로써 적응형 시간 단계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 네트워크 제어의 B-spline 매개변수화가 학습 안정성과 하이퍼파라미터 민감도 향상에 기여하는가?
• RQ2 스플라인 기저 함수를 통한 학습 가능한 매개변수 수 감소가 모델 정확도를 유지하거나 향상시키는가?
• RQ3 스플라인 기반 네트워크가 더 적은 매개변수로 표준 ResNet 및 ODE-net 아키텍처와 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 B-spline 차수의 선택이 학습된 제어의 성능와 부드러움에 어떤 영향을 미치는가?
• RQ5 스플라인 기반 프레임워크는 매개변수 수를 증가시키지 않으면서도 적응형 시간 단계와 고차수 ODE 해법기를 지원할 수 있는가?

주요 결과

• 스플라인 기반 네트워크(SpliNet)는 MNIST에서 98.8%의 정확도를 달성하여, 평균 및 중앙값 정확도에서 표준 ResNet 및 ODE-net을 능가했고, 표준편차도 낮았다.
• 10sin(3x) 학습에서 SpliNet은 고정된 시간 스케일 λ=3에서도 높은 정확도를 유지했지만, 표준 네트워크는 예측 한계에 의해 제한을 받았다.
• 일차 B-spline(B-스플라인, 히트 함수)를 사용할 경우, 표준 ODE나 ResNet 네트워크보다 훨씬 적은 학습 가능한 매개변수로 안정적인 학습과 높은 성능를 달성했다.
• 네트워크 깊이, 학습률, 초기화에 대한 민감도가 감소하여 하이퍼파라미터 선택에 대한 더 높은 강건성을 보였다.
• 시간 간격 크기나 네트워크 깊이에 관계없이 학습 가능한 매개변수 수가 일정하게 유지되어, 모델 복잡도를 증가시키지 않으면서도 고해상도에서 안정적인 전방 전파가 가능했다.
• 스플라인 제어가 전체 시간 간격에 정의되어 있어 임의의 점에서 평가가 가능하므로, 프레임워크는 자연스럽게 적응형 시간 단계와 고차수 ODE 해법기를 지원한다.