[논문 리뷰] ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units via Chebyshev Approximations

Shanshan Tang, Bo Li외 1명|arXiv (Cornell University)|2019. 11. 07.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 안정적이고 고정밀도 함수 근사화를 달성하기 위해 정류된 거듭제곱 단위(RePU)와 체비셰프 다항식 근사법을 사용하는 새로운 딥 신경망 아키텍처인 ChebNet을 소개한다. 주파수 도메인에서의 계층적 체비셰프 전개를 활용함으로써 ChebNet은 스펙트럼 정확도를 달성하고 최적의 근사 복잡도를 보장하며, 근사 오차가 없는 상태에서 기존의 거듭제곱 급수 기반 RePU 네트워크보다 안정성과 정밀 조정 성능에서 뛰어나다.

ABSTRACT

In a previous study [B. Li, S. Tang and H. Yu, Commun. Comput. Phy. 27(2):379-411, 2020], it is shown that deep neural networks built with rectified power units (RePU) as activation functions can give better approximation for sufficient smooth functions than those built with rectified linear units, by converting polynomial approximations using power series into deep neural networks with optimal complexity and no approximation error. However, in practice, power series approximations are not easy to obtain due to the associated stability issue. In this paper, we propose a new and more stable way to construct RePU deep neural networks based on Chebyshev polynomial approximations. By using a hierarchical structure of Chebyshev polynomial approximation in frequency domain, we obtain efficient and stable deep neural network construction, which we call ChebNet. The approximation of smooth functions by ChebNets is no worse than the approximation by deep RePU nets using power series. On the same time, ChebNets are much more stable. Numerical results show that the constructed ChebNets can be further fine-tuned to obtain much better results than those obtained by tuning deep RePU nets constructed by power series approach. As spectral accuracy is hard to obtain by direct training of deep neural networks, ChebNets provide a practical way to obtain spectral accuracy, it is expected to be useful in real applications that require efficient approximations of smooth functions.

연구 동기 및 목표

• glat, 부드러운 함수를 위한 깊은 RePU 네트워크를 구축할 때 거듭제곱 급수 근사법의 수치적 불안정성을 해결하기 위해.
• 기존의 RePU 기반 딥 신경망 설계에 비해 더 안정적이고 효율적인 대안을 개발하기 위해.
• 근사 오차가 없는 상태에서 깊은 RePU 네트워크를 사용해 스펙트럼 정확도를 달성하기 위해.
• 실용적이고 정밀 조정 가능한 깊은 네트워크를 제공하여 기존의 거듭제곱 급수 기반 RePU 네트워크의 근사 품질을 충족하거나 초월하기 위해.

제안 방법

• 주파수 도메인에서 계층적 체비셰프 다항식 근사를 사용하여 불안정한 거듭제곱 급수 전개를 대체하는 깊은 RePU 네트워크를 구축한다.
• 고차수 체비셰프 다항식을 텐서 곱의 구조를 통해 저차수 성분으로 재귀적으로 분해한다.
• $ S_k $ 변환 행렬을 사용하여 다항식 계수와 RePU 네트워크 레이어 간의 변환을 보장하여 체비셰프 전개를 정확히 표현한다.
• 다단계 분해를 적용한다: 각 레이어의 출력은 점차 증가하는 차수의 스케일링된 체비셰프 다항식의 합으로 표현되며, $ T_{s^k}(x) $ 를 사용해 재귀적으로 분해된다.
• $ s=2 $ 및 $ s=3 $ 에 대해 $ S_k $ 의 명시적 행렬 형태를 유도하여 네트워크의 효율적 구축을 가능하게 한다.
• 기존의 역전파 알고리즘을 사용하여 체비셰프 기반 RePU 네트워크를 엔드 투 엔드로 정밀 조정할 수 있도록 통합한다.

실험 결과

연구 질문

• RQ1 체비셰프 다항식 근사는 깊은 RePU 네트워크를 구축할 때 거듭제곱 급수에 비해 더 안정적인 대안이 될 수 있는가?
• RQ2 계층적 체비셰프 분해가 RePU 네트워크의 최적 근사 복잡도를 유지하는가?
• RQ3 ChebNets는 스펙트럼 정확도를 달성할 수 있는가? 기존의 거듭제곱 급수 기반 RePU 네트워크와 동등하거나 이를 초월하는 성능를 보이는가?
• RQ4 ChebNets의 정밀 조정 성능는 거듭제곱 급수 기반 RePU 네트워크와 비교해 어떻게 되는가?

주요 결과

• ChebNets는 근사 오차가 없고 최적의 복잡도를 유지하면서도, 거듭제곱 급수 기반 RePU 네트워크와 동등하거나 그 이상의 근사 정밀도를 달성한다.
• ChebNets는 거듭제곱 급수 기반 RePU 네트워크가 계수 계산에서 심각한 불안정성을 겪는 것과는 달리, 수치적 안정성이 크게 향상됨을 보였다.
• 수치 실험 결과, ChebNets는 거듭제곱 급수 기반 RePU 네트워크보다 훨씬 뛰어난 성능을 정밀 조정을 통해 달성할 수 있음을 확인하였다.
• ChebNets는 직접 학습을 통해 달성하기 어려운 바탕이 되는 스펙트럼 정확도를 실용적으로 달성할 수 있게 하였다.
• 특히 $ s=2 $ 및 $ s=3 $ 에 대해 유도된 변환 행렬 $ S_k $ 는 체비셰프 계수를 RePU 네트워크 가중치로 정확하고 효율적으로 변환할 수 있도록 하였다.