[논문 리뷰] Rational neural networks

Nicolas Boullé, Yuji Nakatsukasa외 1명|arXiv (Cornell University)|2020. 01. 01.

Model Reduction and Neural Networks참고 문헌 52인용 수 7

한 줄 요약

이 논문은 훈련 가능한 유리 함수를 활성화 함수로 사용하는 유리 신경망(rational neural networks)을 소개한다. 이는 부드러운 함수를 근사할 때 ReLU 네트워크보다 지수적으로 더 얕고 더 적은 파라미터를 필요로 함을 보여준다. 이론적 분석과 실험을 통해, 부드럽고 미분 가능하며 매우 표현력 있는 활성화 함수 덕분에, 이론적 근사 효율성 향상, 더 빠른 수렴, 그리고 PDE 해법기와 GAN에서의 성능 향상이 이루어짐을 확인하였다.

ABSTRACT

We consider neural networks with rational activation functions. The choice of the nonlinear activation function in deep learning architectures is crucial and heavily impacts the performance of a neural network. We establish optimal bounds in terms of network complexity and prove that rational neural networks approximate smooth functions more efficiently than ReLU networks with exponentially smaller depth. The flexibility and smoothness of rational activation functions make them an attractive alternative to ReLU, as we demonstrate with numerical experiments.

연구 동기 및 목표

• ReLU 활성화 함수의 한계, 즉 기울기 소실 및 부드러운 함수 근사 성능 부족 문제를 해결하기 위해.
• 딥 뉴럴 네트워크에서 유리 함수를 활성화 단위로 사용할 때의 이론적 및 실용적 이점을 탐색하기 위해.
• 유리 네트워크가 ReLU 네트워크와 동일한 근사 정확도를 달성하기 위해 지수적으로 더 얕고 더 적은 파라미터를 필요로 함을 입증하기 위해.
• 최적화와 일반화를 향상시키는 실용적이고 훈련 가능한, 부드러운 활성화 함수를 개발하기 위해.

제안 방법

• 논문은 활성화 함수로 저차수의 유리 함수 F(x) = P(x)/Q(x)를 사용하는 유리 신경망을 제안하며, 분자 및 분모의 계수를 훈련 가능한 것으로 설정한다.
• 이론적 경계를 설정하여, 주어진 정확도에서 부드러운 함수를 근사할 때, 유리 네트워크가 ReLU 네트워크보다 지수적으로 더 얕은 깊이로 근사할 수 있음을 보여준다.
• 저차수 유리 함수의 복합을 통해 고차수 근사 표현을 구성함으로써, 표현력을 유지하면서도 파라미터 수를 최소화한다.
• 표준 최적화 방법(예: L-BFGS, Adam)을 사용해 네트워크를 훈련하며, 유리 활성화 함수는 안정적인 훈련을 위해 ReLU를 근사하도록 초기화된다.
• 실험은 TensorFlow와 Keras를 사용해 완전 연결 및 합성곱 네트워크에 유리 활성화 함수를 구현하여 PDE 해법기와 GAN에 적용한다.
• 유리 함수는 ReLU를 가장 잘 근사하는 계수로 초기화되어 안정적인 훈련과 향상된 수렴 성능를 확보한다.

실험 결과

연구 질문

• RQ1 부드러운 함수에 대해 ReLU 네트워크에 비해 더 뛰어난 근사 효율성을 제공할 수 있는가?
• RQ2 부드러운 함수를 근사할 때, ReLU 네트워크에 비해 유리 네트워크의 이론적 깊이 및 크기 복잡도는 어떻게 되는가?
• RQ3 훈련 가능한 유리 활성화 함수는 딥 러닝 모델의 최적화 및 수렴에 어떤 영향을 미치는가?
• RQ4 실제 응용 분야인 PDE 해법기와 GAN에서 유리 네트워크가 ReLU 기반 모델을 능가할 수 있는가?
• RQ5 다양한 딥 러닝 작업에 적합한 최적의 차수 및 유형의 유리 활성화 함수는 무엇인가?

주요 결과

• 이론적 경계에 의해 증명된 lin, 부드러운 함수를 주어진 정확도 내에서 근사하기 위해 유리 신경망은 ReLU 네트워크보다 지수적으로 더 얕은 깊이가 필요로 한다.
• 이론적 분석에 따르면, [0,1]^d에서의 부드러운 함수를 근사할 때, 유리 네트워크는 근사 오차 ϵ을 O(ϵ−d/n log(log(1/ϵ)))의 네트워크 크기로 달성한다.
• KdV 방정식 해법기에서, (3,2) 활성화 함수를 사용한 유리 네트워크는 10,000회 L-BFGS 반복 후 근사 오차 0.00125를 기록했고, ReLU는 0.05를 기록했다.
• MNIST 데이터셋에서의 GAN 실험에서, (3,2) 활성화 함수를 사용한 유리 네트워크는 20 에포크 후 검증 손실 약 10^3을 기록했고, ReLU보다 우수한 샘플 품질을 확보했다.
• 모든 테스트된 유리 네트워크 유형((2,2), (3,2), (4,3), (5,4))이 PDE 및 GAN 실험에서 ReLU 네트워크를 모두 능가했으며, (3,2)는 파라미터 수와 정확도 사이의 좋은 균형을 제공했다.
• 부드럽고 훈련 가능한 유리 활성화 함수의 사용은 더 빠른 수렴과 향상된 일반화를 이끌어내었으며, 이는 양 측면에서의 낮은 훈련 및 검증 손실로 입증되었다.