[논문 리뷰] Nearly Optimal Approximation Rates for Deep Super ReLU Networks on Sobolev Spaces

Yahong Yang, Yue Wu외 2명|arXiv (Cornell University)|2023. 10. 16.

Asphalt Pavement Performance EvaluationEngineering인용 수 3

한 줄 요약

이 논문은 Sobolev 공간 $W^{m,p}$ 에서 $m \geq 2$ 인 고차수 도함수 근사가 가능한 Deep Super ReLU Networks (DSRNs) 를 소개한다. 마지막 레이어에서 ReLU와 제곱 ReLU 활성화를 조합함으로써, DSRNs 는 $O(\log_2 L)$ 개의 제곱 ReLU 레이어만 전략적으로 배치함으로써 거의 최적의 근사율을 달성하면서도 ReLU 네트워크의 학습 이점을 유지한다. 이는 고차수 도함수의 VC- 및 의사차원수 분석을 통한 일반화 및 최적성에 대한 이론적 보장을 수반한다.

ABSTRACT

This paper introduces deep super ReLU networks (DSRNs) as a method for approximating functions in Sobolev spaces measured by Sobolev norms $W^{m,p}$ for $m\in\mathbb{N}$ with $m\ge 2$ and $1\le p\le +\infty$. Standard ReLU deep neural networks (ReLU DNNs) cannot achieve this goal. DSRNs consist primarily of ReLU DNNs, and several layers of the square of ReLU added at the end to smooth the networks output. This approach retains the advantages of ReLU DNNs, leading to the straightforward training. The paper also proves the optimality of DSRNs by estimating the VC-dimension of higher-order derivatives of DNNs, and obtains the generalization error in Sobolev spaces via an estimate of the pseudo-dimension of higher-order derivatives of DNNs.

연구 동기 및 목표

• 표준 ReLU DNN 이 Sobolev 공간 $W^{m,p}$ 에서 $m \geq 2$ 인 함수의 고차수 도함수를 근사하는 데에 한계를 보이는 문제를 해결하기 위해.
• 학습 효율성이 ReLU 네트워크를 유지하면서도 고차수 도함수 계산에 필요한 부드러운 출력을 가능하게 하는 깊은 네트워크 아키텍처를 개발하기 위해.
• DSN의 고차수 도함수의 VC-차원 및 의사차원수 추정을 통해 근사율의 이론적 최적성 확립하기 위해.
• DSN의 고차수 도함수 복잡도를 의사차원수 기반으로 추정하여 Sobolev 노름에서 일반화 오차 경계 제공하기 위해.

제안 방법

• 모든 레이어를 제외한 마지막 몇 레이어에서 표준 ReLU 를 사용하고, 마지막 레이어에서 제곱 ReLU 를 적용하여 부드러움을 향상시키는 Deep Super ReLU Networks (DSRNs) 를 제안한다.
• 네트워크 깊이 $L$ 에 대해 제곱 ReLU 레이어의 수를 $O(\log_2 L)$ 로 제한함으로써 복잡도를 통제하면서도 $W^{m,p}$ 근사에 필요한 충분한 부드러움을 확보한다.
• ReLU 와 제곱 ReLU 의 조합을 통해 고차수 도함수가 잘 조율되고 일반화 분석에 적합한 네트워크를 구축한다.
• DSRN 의 고차수 도함수 복잡도 분석을 위해 의사차원수 및 VC-차원 이론을 적용하여 Sobolev 노름에서 일반화 오차 경계를 도출한다.
• 두 번째 도함수의 의사차원수를 이용해 일반화 오차 경계를 유도하며, 그 형태는 $\mathcal{O}\left(\frac{NL(\log_2 L \log_2 N)^{1/2}}{\sqrt{M}}\log M\right)$ 이다.
• PINNs 를 사용하여 1D 포아송 방정식에서 수치적으로 방법을 검증하고, DSRN 과 전체 제곱 ReLU 레이어를 가진 네트워크를 비교하여 해와 도함수 근사에서 DSRN 이 뛰어난 성능을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 ReLU 기반의 깊은 신경망이 Sobolev 공간 $W^{m,p}$ 에서 $m \geq 2$ 인 경우 거의 최적의 근사율을 달성하도록 수정할 수 있는가?
• RQ2 학습 효율성을 훼손하지 않으면서도 부드러움을 확보하기 위해 필요한 제곱 ReLU 레이어의 최적의 위치와 수는 무엇인가?
• RQ3 고차수 도함수를 근사할 때 DNN 의 일반화 오차가 Sobolev 노름에서 어떻게 경계지을 수 있는가?
• RQ4 VC-차원과 의사차원수는 DNN 의 고차수 도함수 복잡도를 특성화하는 데 어떤 역할을 하는가?
• RQ5 의사차원수와 같은 도함수 복잡도 측정법을 사용하여 DSRN 의 근사율이 최적임을 증명할 수 있는가?

주요 결과

• DSRNs 는 $m \geq 2$ 인 $W^{m,p}$ 공간의 함수에 대해 거의 최적의 근사율을 달성하며, 표준 ReLU DNN 이 지닌 본질적 비부드러움 문제를 해결한다.
• 필요한 제곱 ReLU 레이어의 수는 $O(\log_2 L)$ 이며, 이는 충분한 부드러움을 확보하면서도 계산 효율성과 학습 안정성을 유지한다.
• Sobolev 노름에서의 일반화 오차는 $\mathcal{O}\left(\frac{NL(\log_2 L \log_2 N)^{1/2}}{\sqrt{M}}\log M\right)$ 로 경계되며, 여기서 $M$ 은 샘플 크기이다.
• DSRN 의 두 번째 도함수의 의사차원수는 $O(NL(\log_2 L \log_2 N)^{1/2})$ 로 경계되며, 이는 날카운 일반화 오차 추정을 가능하게 한다.
• 수치 실험을 통해 DSRN 이 1D 포아송 방정식의 해와 도함수를 정확하게 근사하며, 전체 제곱 ReLU 활성화를 가진 네트워크보다 뛰어난 성능을 보임을 확인한다.
• 이론적 프레임워크는 DSRN 이 근사율 측면에서 최적임을 입증하며, 유도된 경계가 알려진 최소 최대 경계와 로그 인자 외에는 일치한다.