[논문 리뷰] Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks

Fanghui Liu, Leello Dadi외 1명|arXiv (Cornell University)|2024. 04. 29.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 노름 제약이 부여된 과잉 파rameter화된 두 층의 ReLU 신경망이 경로 노름(바론 노름과 동치)을 활용하여 더 나은 표본 복잡도와 일반화 성능을 달성함을 보여준다. 이는 넓이에 의존하지 않는 수렴성과 $\mathcal{O}(\epsilon^{-2d/(d+2)})$ 정도의 메트릭 엔트로피 경계를 가능하게 하며, 커널 방법의 $\Omega(\epsilon^{-d})$ 스케일링을 능가한다. 일반적인 모멘트 가정 하에 일반화 경계가 $\mathcal{O}(n^{-(d+2)/(2d+2)})$ 속도로 유도되며, 이는 차원 인지적이고 향상된 표본 효율성을 보여준다.

ABSTRACT

Recent studies show that a reproducing kernel Hilbert space (RKHS) is not a suitable space to model functions by neural networks as the curse of dimensionality (CoD) cannot be evaded when trying to approximate even a single ReLU neuron (Bach, 2017). In this paper, we study a suitable function space for over-parameterized two-layer neural networks with bounded norms (e.g., the path norm, the Barron norm) in the perspective of sample complexity and generalization properties. First, we show that the path norm (as well as the Barron norm) is able to obtain width-independence sample complexity bounds, which allows for uniform convergence guarantees. Based on this result, we derive the improved result of metric entropy for $ε$-covering up to $O(ε^{-\frac{2d}{d+2}})$ ($d$ is the input dimension and the depending constant is at most linear order of $d$) via the convex hull technique, which demonstrates the separation with kernel methods with $Ω(ε^{-d})$ to learn the target function in a Barron space. Second, this metric entropy result allows for building a sharper generalization bound under a general moment hypothesis setting, achieving the rate at $O(n^{-\frac{d+2}{2d+2}})$. Our analysis is novel in that it offers a sharper and refined estimation for metric entropy with a linear dimension dependence and unbounded sampling in the estimation of the sample error and the output error.

연구 동기 및 목표

• 과잉 파arameter화된 두 층의 신경망에 대해 경로 노름 또는 바론 노름과 같은 유한한 노름을 갖는 적절한 함수 공간을 규명하여, 재생 커널 힐버트 공간(RKHS)과 커널 방법의 한계를 극복하는 것.
• 특히 경로 노름 하에서의 노름 제약이 부여된 두 층의 네트워크에 의해 유도되는 함수 클래스의 메트릭 엔트로피를 분석하여 그 복잡도를 정량화하고 커널 방법과의 차이를 규명하는 것.
• 제한적인 가정(예: 서브-가우시안성) 없이 일반적인 모멘트 가정 하에 날카운 일반화 경계를 도출하고, 입력 차원 $d$에 대한 표본 복잡도 스케일링의 향상을 보여주는 것.
• 경로 노름이 넓이에 의존하지 않는 일반화 보장을 가능하게 하고, 커널 방법에 내재된 차원의 저주를 피할 수 있음을 보여주는 것.

제안 방법

• 저자들은 경로 노름이 제약된 두 층의 ReLU 네트워크로 정의된 함수 클래스의 메트릭 엔트로피를 볼록 Hull 기법을 사용하여 분석하여, $\mathcal{O}(\epsilon^{-2d/(d+2)})$ 정도의 커버링 수 경계를 도출한다.
• 표본 오차, 출력 오차, 정규화 오차 분석을 조합하여 일반적인 모멘트 가정 하에 일반화 경계를 수립하며, 농도 불등식과 가우스 프로세스 도구를 활용한다.
• Bennett 및 Wu 등이 제안한 농도 불등식을 활용하여 경험 위험과 진짜 위험 간의 편차를 제어하며, 입력 차원 $d$에 명시적인 의존성을 갖는다.
• 용량 측정으로 경로 노름을 사용하고, 함수 클래스를 바론 공간의 부분집합으로 특성화하여 차원 인지적 일반화 경계를 가능하게 한다.
• 증명 프레임워크는 라데마처 복잡도를 통한 출력 오차 경계와 경로 노름을 통한 정규화 오차 경계를 통합하며, $d$에 따라 변하는 상수를 정밀하게 제어한다.
• 경로 노름과 활성화 함수의 구조를 활용하여 메트릭 엔트로피의 정교한 추정을 수행함으로써, 이전 결과보다 $d$에 더 탄탄한 의존성을 확보한다.

실험 결과

연구 질문

• RQ1 경로 노름 또는 바론 노름은 커널 방법에 내재된 차원의 저주를 피할 수 있는 두 층의 신경망에 대한 함수 공간을 제공할 수 있는가?
• RQ2 노름 제약이 부여된 두 층의 ReLU 네트워크에 의해 유도되는 함수 클래스의 메트릭 엔트로피는 무엇이며, 입력 차원 $d$에 대해 어떻게 스케일링되는가?
• RQ3 서브-가우시안성 또는 유한한 노이즈 가정이 아닌 일반적인 모멘트 가정 하에 일반화 경계를 도출할 수 있으며, 그 결과로 얻어지는 속도는 무엇인가?
• RQ4 노름 제약이 부여된 두 층의 네트워크의 표본 복잡도는 고차원 환경에서 커널 방법과 비교해 어떻게 되는가?
• RQ5 일반화 오차는 입력 차원 $d$, 표본 크기 $n$, 노름 제약 $B$에 대해 어떻게 의존하는가?

주요 결과

• 경로 노름이 제약된 두 층의 ReLU 네트워크로 정의된 함수 클래스의 메트릭 엔트로피는 $\mathcal{O}(\epsilon^{-2d/(d+2)})$ 이하로 경계지며, 이는 커널 방법의 $\Omega(\epsilon^{-d})$ 스케일링보다 훨씬 우수하다.
• 일반적인 모멘트 가정 하에 일반화 오차는 $\mathcal{O}(n^{-(d+2)/(2d+2)})$ 속도를 달성하며, 이는 커널 방법의 최소자승 하한 $\Omega(n^{-1/d})$ 보다 빠르다.
• 경로 노름 제약 덕분에 표본 복잡도는 넓이에 의존하지 않으며, 다양한 네트워크 넓이에 걸쳐 일관된 수렴 보장을 가능하게 한다.
• 일반화 경계는 제한적인 가정(예: 서브-가우시안성 또는 유한성) 없이 일반적인 모멘트 조건 하에 도출되었으며, 경계는 명시적으로 입력 차원 $d$에 의존한다.
• 정규화 오차는 경로 노름을 통해 제어되며, 출력 오차는 농도 불등식을 통해 경계지며, 상수는 $d$에 다항적으로 의존한다.
• 경계에 포함된 지수 감소 항 $\exp(-B/(4CM^2))$ 는 큰 노름 제약 $B$에 대해 빠른 수렴을 보장하며, 잘 정규화된 모델의 강력한 일반화 성능을 나타낸다.