[논문 리뷰] ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units using Chebyshev Approximations.

Shanshan Tang, Bo Li외 1명|arXiv (Cornell University)|2019. 11. 07.

Neural Networks and Applications참고 문헌 48인용 수 22

한 줄 요약

이 논문은 체비셰프 다항식 근사법을 사용하여 안정적이고 효율적인 딥 신경망 아키텍처인 ChebNet를 제안한다. 이는 정류된 거듭제곱 활성화 함수(RePU) 네트워크를 구성하기 위해 제안한다. 주파수 도메인에서 거듭제곱 급수 근사법을 계층적인 체비셰프 전개로 대체함으로써, ChebNets는 거듭제곱 급수 기반 RePU 네트워크와 동일한 이론적 근사 경계를 달성하지만, 실질적으로 훨씬 향상된 수치적 안정성과 성능을 보인다.

ABSTRACT

In a recent paper [B. Li, S. Tang and H. Yu, arXiv:1903.05858], it was shown that deep neural networks built with rectified power units (RePU) can give better approximation for sufficient smooth functions than those with rectified linear units, by converting polynomial approximation given in power series into deep neural networks with optimal complexity and no approximation error. However, in practice, power series are not easy to compute. In this paper, we propose a new and more stable way to construct deep RePU neural networks based on Chebyshev polynomial approximations. By using a hierarchical structure of Chebyshev polynomial approximation in frequency domain, we build efficient and stable deep neural network constructions. In theory, ChebNets and the deep RePU nets based on Power series have the same upper error bounds for general function approximations. But numerically, ChebNets are much more stable. Numerical results show that the constructed ChebNets can be further trained and obtain much better results than those obtained by training deep RePU nets constructed basing on power series.

연구 동기 및 목표

• 딥 RePU 신경망을 구축할 때 거듭제곱 급수 근사법의 수치적 불안정성과 계산 난이도 문제를 해결하기 위해.
• 최적의 근사 복잡도를 유지하면서 거듭제곱 급수 기반 RePU 네트워크보다 더 안정적인 대안을 개발하기 위해.
• 네트워크 구축 중 수치 조건을 향상시켜 딥 RePU 네트워크의 실용적 구현을 가능하게 하기 위해.
• 체비셰프 기반 구조가 거듭제곱 급수 기반 RePU 네트워크보다 훈련 후 안정성과 최종 모델 성능 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 전통적인 거듭제곱 급수 전개 대신 주파수 도메인에서 계층적인 체비셰프 다항식 근사법을 사용하여 딥 RePU 네트워크를 구성하기 위해.
• 체비셰프 다항식의 등분할성 및 안정성 특성을 활용하여 네트워크 구축 중 수치 조건을 향상시키기 위해.
• 최적의 근사 복잡도를 달성하기 위해 다항식 근사법을 딥 잔여망 유사 아키텍처에 매핑하기 위해.
• 통제 가능한 오차 경계를 갖는 다수준 근사법을 체계적으로 구축하기 위해 주파수 도메인 분해 전략을 사용하기 위해.
• 체비셰프 전개의 구조를 그대로 반영한 네트워크 아키텍처를 설계하여 효율적이고 안정적인 파rameterization을 가능하게 하기 위해.
• 거듭제곱 급수 기반 RePU 네트워크와 동일한 이론적 상한 오차 경계를 유지하면서 수치적 강건성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 체비셰프 다항식 근사법은 거듭제곱 급수 근사법보다 딥 RePU 네트워크를 구축하는 데 더 수치적으로 안정적인 대안을 제공할 수 있는가?
• RQ2 계층적인 체비셰프 근사법 사용이 거듭제곱 급수 기반 RePU 네트워크와 동일한 이론적 근사 오차 경계를 유지하는가?
• RQ3 훈련 중 ChebNets의 수치적 안정성은 거듭제곱 급수 기반 RePU 네트워크보다 어떻게 비교되는가?
• RQ4 엔드 투 엔드 훈련 후 ChebNets는 거듭제곱 급수 기반 RePU 네트워크보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ5 체비셰프 다항식을 통한 주파수 도메인 분해는 딥 RePU 네트워크의 전체 효율성과 수렴성에 어떤 영향을 미치는가?

주요 결과

• ChebNets는 거듭제곱 급수 기반 RePU 네트워크와 동일한 이론적 상한 오차 경계를 갖는다.
• ChebNets는 네트워크 구축 과정에서 거듭제곱 급수 기반 RePU 네트워크보다 훨씬 향상된 수치적 안정성을 보인다.
• 수치 실험 결과, ChebNets는 성공적으로 훈련되며 훈련 후 거듭제곱 급수 기반 RePU 네트워크보다 더 뛰어난 성능을 보인다.
• 체비셰프 근사법의 계층적 구조는 통제 가능한 근사 오차를 갖는 효율적이고 안정적인 딥 네트워크 구축을 가능하게 한다.
• 체비셰프 기반 RePU 네트워크는 향상된 수치 조건 덕분에 실질적인 훈련 시나리오에서 거듭제곱 급수 대비 우수한 성능을 보인다.
• 제안된 방법은 불안정성이 내재된 거듭제곱 급수 계산 문제를 해결하면서도 최적의 근사 복잡도를 유지한다.