[논문 리뷰] Deep Equals Shallow for ReLU Networks in Kernel Regimes

Alberto Bietti, Francis Bach|arXiv (Cornell University)|2020. 09. 30.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 9

한 줄 요약

이 논문은 렐루 활성화 함수를 사용하는 네트워크가 커널 영역, 특히 신경접선 커널(NTK) 영역에 있을 때 깊이가 얕은 두 층 네트워크보다 근사 성질에서 어떤 이점도 제공하지 않는다는 것을 보여준다. 핵심 결과는 깊은 렐루 커널과 얕은 렐루 커널에 관련된 적분 연산자의 고유값 감쇠가 동일하다는 것이다. 이는 깊이의 이점이 이러한 아키텍처에서 커널 프레임워크로는 설명될 수 없다는 것을 의미한다. 이는 커널 기반 분석이 깊은 네트워크의 표현력 이해에 있어 근본적인 한계를 드러낸다.

ABSTRACT

Deep networks are often considered to be more expressive than shallow ones in terms of approximation. Indeed, certain functions can be approximated by deep networks provably more efficiently than by shallow ones, however, no tractable algorithms are known for learning such deep models. Separately, a recent line of work has shown that deep networks trained with gradient descent may behave like (tractable) kernel methods in a certain over-parameterized regime, where the kernel is determined by the architecture and initialization, and this paper focuses on approximation for such kernels. We show that for ReLU activations, the kernels derived from deep fully-connected networks have essentially the same approximation properties as their shallow two-layer counterpart, namely the same eigenvalue decay for the corresponding integral operator. This highlights the limitations of the kernel framework for understanding the benefits of such deep architectures. Our main theoretical result relies on characterizing such eigenvalue decays through differentiability properties of the kernel function, which also easily applies to the study of other kernels defined on the sphere.

연구 동기 및 목표

• 커널 영역에서 깊은 렐루 네트워크의 깊이가 근사 성질을 향상시키는지 조사하기.
• 특히 신경접선 커널(NTK)을 포함한 깊은 커널 방법에 의해 유도된 적분 연산자의 스펙트럼 성질 분석하기.
• 깊은 렐루 네트워크와 얕은 렐루 네트워크 간에 커널 연산자의 고유값 감쇠가 다를지 결정하기.
• 커널 기반 프레임워크가 깊은 아키텍처의 표현력을 어떻게 반영하지 못하는지 명확히 하기.
• 커널 함수의 미분 가능성 성질에 기반한 고유값 감쇠의 이론적 특성화 제공하기.

제안 방법

• 입력이 동일하거나 반대 방향일 때(즉, 입력이 일치하거나 반대일 때) 커널 함수의 미분 가능성에 의해 커널에 의해 유도된 적분 연산자의 고유값 감쇠를 특성화하기.
• 구면 조화함수를 사용하여 단위 구면에서 적분 연산자를 대각화함으로써 재생 커널 힐버트 공간(RKHS)의 스펙트럼 분석을 가능하게 하기.
• 커널 조합에 대한 귀납법을 통해 렐루 활성화가 깊이에 관계없이 동일한 고유값 감쇠 행동을 유지함을 증명하기.
• 입력이 ±1 근처에서 커널 함수의 점근적 행동을 분석하여 고유값 감쇠율 유도하기.
• NTK와 랜덤 피처(RF) 커널 모두에 이 프레임워크를 적용하여 깊이와 얕이 네트워크 간 동일한 감쇠율을 보여주기.
• 복소해석적 확장과 테일러 계수 점근적 분석을 사용하여 깊은 렐루 네트워크의 고유값 감쇠를 엄밀히 유도하기.

실험 결과

연구 질문

• RQ1 커널 영역에서 분석했을 때 깊이가 렐루 네트워크의 근사 능력을 향상시키는가?
• RQ2 깊은 렐루 커널에 의해 유도된 적분 연산자의 고유값 감쇠가 얕은 렐루 커널과 다를까?
• RQ3 입력이 일치할 때 커널 함수의 미분 가능성에 의해 깊은 커널 방법의 스펙트럼 성질를 특성화할 수 있는가?
• RQ4 커널 프레임워크는 완전히 연결된 렐루 네트워크에서 깊이의 이점의 정도를 어느 정도 반영하는가?
• RQ5 레이어 수에 따라 렐루 네트워크에서 NTK와 RF 커널의 고유값 감쇠는 어떻게 비교되는가?

주요 결과

• 커널 영역에 있는 렐루 네트워크에서, 깊이와 얕이 아키텍처 간에 적분 연산자의 고유값 감쇠는 동일하며, d차원 입력에 대해 감쇠율은 k^{-d-2}이다.
• 감쇠율은 입력이 일치할 때 커널 함수의 미분 가능성에 의해 결정되며, 렐루의 경우 깊이에 관계없이 항상 k^{-d-2} 감쇠를 보인다.
• NTK의 경우 k^{-d-2} 감쇠의 계수는 깊이 ℓ에 대해 선형적으로 증가하지만, ℓ로 정규화하면 유한하게 유지된다.
• 스텝 활성화를 사용하는 깊은 렐루 네트워크의 경우 감쇠율은 k^{-d-2 u_L+1}이며, 여기서 ν_L = 1/2^{L-1} 이다. 이는 렐루보다 느린 감쇠를 보이나 여전히 깊이 ν_L에 의해 영향을 받는다.
• 이 결과는 깊이가 커널 연산자의 스펙트럼 성질를 변화시키지 않기 때문에 커널 기반 모델이 렐루 네트워크에서 깊이의 표현력 향상을 설명할 수 없다는 것을 시사한다.
• 이 이론적 프레임워크는 구면에서의 내적 곱 기반 커널에 일반적으로 적용 가능하며, 국소적 커널 행동에 기반한 고유값 감쇠 분석을 위한 일반적인 방법을 제공한다.