[논문 리뷰] Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions

MohamadAli Torkamani, Phillip Wallis외 2명|arXiv (Cornell University)|2019. 05. 19.

Model Reduction and Neural Networks참고 문헌 15인용 수 5

한 줄 요약

이 논문은 각 뉴런이 학습 가능한 두 번째 차수 상미분방정식(ODE)을 풀어 개인화된 비선형 활성화 함수를 학습하는 미분방정식 단위(DEU)를 소개한다. 각 뉴런당 다섯 개의 매개수—계수와 초기 조건—를 학습함으로써 DEU는 더 작은 파라미터 수로도 기존의 고정된 활성화 함수(예: ReLU)를 능가하거나 이를 초월하는 고성능의 컴act한 네트워크를 가능하게 하며, CIFAR-10에서 파라미터 수가 적은데도 불구하고 1% 이상의 정확도 향상을 달성한다.

ABSTRACT

Most deep neural networks use simple, fixed activation functions, such as sigmoids or rectified linear units, regardless of domain or network structure. We introduce differential equation units (DEUs), an improvement to modern neural networks, which enables each neuron to learn a particular nonlinear activation function from a family of solutions to an ordinary differential equation. Specifically, each neuron may change its functional form during training based on the behavior of the other parts of the network. We show that using neurons with DEU activation functions results in a more compact network capable of achieving comparable, if not superior, performance when is compared to much larger networks.

연구 동기 및 목표

• 자원이 제한된 환경(예: 모바일 및 웨어러블 기기)에서 대규모 딥 네트워크의 계산 및 메모리 비효율성을 해결하기 위해.
• 고정된 활성화 함수(예: ReLU, 시그모이드)의 한계를 극복하여 네트워크 구조나 데이터 분포에 적응하지 못하는 문제를 해결하기 위해.
• 각 뉴런이 풍부한 ODE 해의 가족에서 동적으로 자신의 비선형 활성화 함수를 학습함으로써 모델 크기를 늘리지 않고도 표현 능력을 향상시키기 위해.
• 모델 크기를 늘리지 않고도 성능을 유지하거나 향상시키는 파라미터 효율적인 활성화 함수 학습 기법을 개발하기 위해.

제안 방법

• 각 뉴런의 활성화는 두 번째 차수 선형 ODE의 해로부터 유도된다: $ a y''(t) + b y'(t) + c y(t) = u(t) $, 여기서 $ u(t) $ 는 헤비사이드 스탭 함수이다.
• 다섯 개의 학습 가능한 매개수—$ a, b, c, c_1, c_2 $—는 역전파를 통해 최적화되어 훈련 중 활성화 함수를 적응시킨다.
• 특이 부분공간(예: $ a=0 $, $ b=0 $, 또는 $ c=0 $)은 수치적 불안정성과 미분 가능성 보장을 위해 명시적 투영을 통해 처리된다.
• 정규화 전략은 $ b^2 - 4ac $ 를 $ \sqrt{4ac} $ 에 가까이 설정하여 해의 지수적 붕괴를 방지한다.
• 학습 안정화와 기울기 폭주 방지를 위해 배치 정규화와 네트워크 및 DEU 매개수의 별도 학습률을 사용한다.
• 해는 기호 계산(Maple)을 사용해 사전에 계산되고 GPU 병렬 추론을 위해 최적화된 코드로 컴iles된다.

실험 결과

연구 질문

• RQ1 각 뉴런이 자체 활성화 함수를 학습할 수 있도록 허용함으로써, 더 적은 파라미터로도 더 높은 성능을 달성할 수 있는가?
• RQ2 동적이고 ODE 기반의 활성화 함수를 학습하는 것이 고정된 활성화 함수보다 일반화 성능과 컴팩트함 측면에서 더 우수한가?
• RQ3 두 번째 차수 ODE의 해 공간이 표준 활성화 함수를 대체할 수 있는 충분한 표현력을 제공하면서도, 학습 가능하고 안정적인가?
• RQ4 다양한 아키텍처에서 DEU의 성능이 ReLU, PReLU, Swish와 비교해 정확도와 모델 크기 측면에서 어떻게 되는가?

주요 결과

• ResNet-18을 사용한 CIFAR-10에서 DEU는 ReLU, PReLU, Swish를 능가하는 1% 이상의 정확도 향상을 달성하여, 아키텍처 변경 없이도 뛰어난 성능을 입증한다.
• DEU는 전체 ResNet-18과 블록 수가 절반인 단순화된 버전 사이의 성능 격차를 크게 줄여, 컴팩트한 네트워크 설계에서 뛰어난 효율성을 보여준다.
• MNIST 및 Fashion-MNIST에서 DEU 기반 네트워크는 표준 ReLU 네트워크와 경쟁하거나 더 높은 정확도를 달성하면서도 상당히 적은 파라미터를 사용한다.
• 이 방법은 뉴런이 학습된 ODE 매개수에 따라 주기적, 지수적, 또는 이차 함수 형태를 동적으로 채택함으로써 표현 능력을 향상시킨다.
• 학습 과정에서 특이 부분공간을 피하기 위해 근접한 영점 계수를 0으로 투영하고 임계 결정식 근처의 안정성을 확보함으로써 최적화의 강건성을 확보한다.
• 별도의 학습률과 배치 정규화를 사용함으로써, 매우 비선형적인 활성화 함수에도 불구하고 기울기 폭주를 효과적으로 방지하고 학습을 안정화시킨다.