[논문 리뷰] On Infinite-Width Hypernetworks

Etai Littwin, Tomer Galanti외 2명|arXiv (Cornell University)|2020. 03. 27.

Computational Geometry and Mesh Generation참고 문헌 42인용 수 7

한 줄 요약

이 논문은 무한 넓이 초네트워크의 일반화 및 최적화 역학을 조사하며, 표준 넓은 초네트워크가 비볼록성으로 인해 경사 하강법 하에서 전역 최소값으로 수렴하지 않는다는 것을 보여준다. 그러나 초네트워크와 주 네트워크 모두가 무한히 넓을 경우, 학습 역학이 단순화되고 잘 정의된 무한 넓이 극한 커널—초커널—에 의해 지배되며, 이는 커널 기반 분석을 가능하게 하고 데이터가 제한된 기능 표현 작업에서 성능 향상을 이룬다.

ABSTRACT

{\em Hypernetworks} are architectures that produce the weights of a task-specific {\em primary network}. A notable application of hypernetworks in the recent literature involves learning to output functional representations. In these scenarios, the hypernetwork learns a representation corresponding to the weights of a shallow MLP, which typically encodes shape or image information. While such representations have seen considerable success in practice, they remain lacking in the theoretical guarantees in the wide regime of the standard architectures. In this work, we study wide over-parameterized hypernetworks. We show that unlike typical architectures, infinitely wide hypernetworks do not guarantee convergence to a global minima under gradient descent. We further show that convexity can be achieved by increasing the dimensionality of the hypernetwork's output, to represent wide MLPs. In the dually infinite-width regime, we identify the functional priors of these architectures by deriving their corresponding GP and NTK kernels, the latter of which we refer to as the {\em hyperkernel}. As part of this study, we make a mathematical contribution by deriving tight bounds on high order Taylor expansion terms of standard fully connected ReLU networks.

연구 동기 및 목표

• 과도하게 파rameter화된 초네트워크의 무한 넓이 영역에서의 학습 역학을 이해하기 위해.
• 무한히 넓은 초네트워크가 볼록 최적화 행동을 보이는 조건을 특정하기 위해.
• 이중 무한 넓이 극한에서 초네트워크의 기능 사전을 유도하며, 새로운 커널인 초커널로 특징지어지게 하기 위해.
• 특히 데이터 부족 상황에서 기능 표현 학습에 대해 초네트워크에 대한 이론적 보장을 제공하기 위해.
• ReLU MLP에서 고차수 테일러 전개 항의 엄밀한 점근적 경계를 설정하여 상관 함수에 대한 추측을 부분적으로 해결하기 위해.

제안 방법

• 네트워크를 초네트워크 f와 주 네트워크 g로 분해하여 초네트워크의 경사 하강법 역학을 분석한다.
• 초기화 근처에서 네트워크 출력의 고차수 테일러 전개를 적용하며, 일阶 및 고차수 항에 중점을 둔다.
• 초네트워크의 신경 탄성 커널(NTK)을 유도하며, 이중 무한 넓이 극한에서의 NTK로 '초커널'을 도입한다.
• 무작위 행렬 이론과 점근적 분석을 사용하여 넓이가 증가함에 따라 고차수 항이 사라짐을 보여준다.
• ReLU 네트워크에서 고차수 테일러 항에 대해 O(1/m)의 엄밀한 경계를 설정하여 이전 결과를 확장한다.
• 이론적 발견을 기능 표현 작업에서 실증적으로 검증하며, 커널 기반 및 훈련된 초네트워크 성능을 비교한다.

실험 결과

연구 질문

• RQ1 초네트워크의 무한 넓이 극한이 경사 하강법 하에서 볼록 최적화 역학을 이끌어내는가?
• RQ2 이중 무한 넓이 영역에서 초네트워크의 기능 사전을 특징지을 수 있는가?
• RQ3 초네트워크의 신경 탄성 커널(NTK)의 구조와 행동은 무엇이며, 일반 NTK와 어떻게 다를까?
• RQ4 넓은 ReLU MLP에서 고차수 테일러 전개 항은 어떻게 행동하는가? 그리고 엄밀하게 경계할 수 있는가?
• RQ5 제한된 훈련 데이터에서 유도된 초커널이 훈련된 초네트워크보다 성능이 뛰어나게 되는가?

주요 결과

• 무한히 넓은 초네트워크는 최적화 과정에서 내재된 비볼록성으로 인해 경사 하강법 하에서 전역 최소값으로 수렴하지 않음을 보장하지 않는다.
• 초네트워크와 주 네트워크 모두가 무한히 넓을 경우 볼록성이 회복되며, 이는 초커널에 의해 지배되는 안정적인 학습 역학을 초래한다.
• 초커널은 초네트워크의 NTK의 무한 넓이 극한으로 도출되며, 기능 사전을 제공하여 커널 기반 학습을 가능하게 한다.
• 실증 결과는 데이터가 제한된 기능 표현 작업에서 초커널 기반 방법이 표준 훈련된 초네트워크보다 뛰어난 성능을 보임을 보여준다.
• ReLU MLP에서 고차수 테일러 전개 항에 대해 O(1/m)의 엄밀한 점근적 경계를 설정하여 이론적 프레임워크를 뒷받침하고 상관 함수에 대한 추측을 부분적으로 해결한다.