[논문 리뷰] On Sparsity in Overparametrised Shallow ReLU Networks

Jaume de Dios, Joan Bruna|arXiv (Cornell University)|2020. 06. 18.

Model Reduction and Neural Networks참고 문헌 32인용 수 8

한 줄 요약

이 논문은 오버파rametrized 얕은 ReLU 네트워크에서 레이블 노이즈를 통한 암묵적 정규화와 명시적 변동도-노름 정규화 모두가, 네트워크의 폭이 어떠한지에 관계없이 유한한 수의 뉴런만 활성화되는 해를 도출함을 보여준다. 핵심 결과는 이러한 정규화가 무한차원 최적화 문제를 유한차원 선형 프로그래밍 문제로 변환함으로써 오버파라미터라이제이션 영역에서 이론적 보장을 가능하게 한다.

ABSTRACT

The analysis of neural network training beyond their linearization regime remains an outstanding open question, even in the simplest setup of a single hidden-layer. The limit of infinitely wide networks provides an appealing route forward through the mean-field perspective, but a key challenge is to bring learning guarantees back to the finite-neuron setting, where practical algorithms operate. Towards closing this gap, and focusing on shallow neural networks, in this work we study the ability of different regularisation strategies to capture solutions requiring only a finite amount of neurons, even on the infinitely wide regime. Specifically, we consider (i) a form of implicit regularisation obtained by injecting noise into training targets [Blanc et al.~19], and (ii) the variation-norm regularisation [Bach~17], compatible with the mean-field scaling. Under mild assumptions on the activation function (satisfied for instance with ReLUs), we establish that both schemes are minimised by functions having only a finite number of neurons, irrespective of the amount of overparametrisation. We study the consequences of such property and describe the settings where one form of regularisation is favorable over the other.

연구 동기 및 목표

• 오버파라미터라이제이션된 얕은 ReLU 네트워크에서 정규화 전략이 네트워크 폭이 무한대임에도 불구하고 유한한 뉴런 지원을 가진 해를 도출할 수 있는지 이해하는 것.
• 무한대 넓이의 평균장 분석과 유한한 넓이의 실용적 신경망 사이의 격차를 메우기 위해, 희소 해가 나타나는 조건을 규명하는 것.
• 암묵적 정규화(레이블 노이즈를 통한)와 명시적 변동도-노름 정규화가 희소성 측면에서 효과성과 구조적 특성에서 어떻게 다른지 비교하는 것.
• 이러한 정규화 하에서 최적화 문제가 조건부로 유한차원 선형 프로그래밍 문제로 축소됨을 보여주는 것.
• 유한한 넓이의 네트워크에서 기울기 기반 학습의 성공을 이론적으로 정당화하기 위해, 희소하고 낮은 복잡도의 해와 연결하는 것.

제안 방법

• 네트워크 파라미터 위의 확률측도를 사용하여 평균장 영역에서 얕은 ReLU 네트워크를 분석한다.
• 레이블 노이즈에 의해 유도되는 암묵적 정규화와 변동도-노름(TV) 정규화를 모두 포함하는 일반적인 정규화자 가족을 도입한다.
• 적당한 활성화 함수 가정(예: ReLU) 하에서, 이러한 정규화된 목적함수의 최소화자가 파라미터 공간에서 희소 지원을 가져야 함을 증명한다.
• 사영 공간에서의 초평면 배열의 구조를 활용하여 원래의 무한차원 문제와 동치인 유한차원 선형 프로그래밍 문제를 정의한다.
• Representer 정리를 적용하여, 유도된 선형 프로그래밍의 해가 유한한 수의 뉴런에서만 비영이 되며, 그 수는 데이터 포인트의 수 이하임을 보여준다.
• 볼록 해석학과 곡률 성질을 활용하여, 오버파라미터라이제이션 설정에서 기울기 강하가 이러한 희소 최소화자를 수렴할 수 있음을 논증한다.

실험 결과

연구 질문

• RQ1 오버파라미터라이제이션된 ReLU 네트워크에서 레이블 노이즈를 통한 암묵적 정규화가 유한한 뉴런 지원을 가진 해를 도출할 수 있는가?
• RQ2 얕은 ReLU 네트워크의 평균장 근사에서 변동도-노름 정규화가 오버파라미터라이제이션 여부와 관계없이 희소 해를 생성하는가?
• RQ3 희소성과 불변성 측면에서 암묵적 정규화와 명시적 정규화의 구조적 특성은 어떻게 다를까?
• RQ4 오버파라미터라이제이션된 네트워크에서의 무한차원 최적화 문제는 어느 정도까지 유한차원 선형 프로그래밍 문제로 축소될 수 있는가?
• RQ5 사영 공간에서 데이터에 의해 유도된 초평면 배열에 기반한 지수 크기의 선형 프로그래밍 문제는 어떤 데이터 조건에서 계산적으로 처리 가능할까?

주요 결과

• 오버파라미터라이제이션된 얕은 ReLU 네트워크에서 암묵적 정규화(레이블 노이즈를 통한)와 명시적 변동도-노름 정규화 모두가 네트워크 폭에 관계없이 희소 지원을 가진 최소화자를 도출한다.
• 정규화가 유도하는 볼록성 덕분에, 무한대 넓이 극한에서도 정규화된 학습 문제의 최소화자가 유한한 수의 뉴런에서만 지원을 가지게 된다.
• Representer 정리에 따라 문제의 크기는 유한차원 선형 프로그래밍 문제로 축소되며, 비영 계수의 수는 최대 n개이다(여기서 n은 데이터 포인트의 수이다).
• 사영 공간에서 데이터에 의해 유도된 초평면 배열의 셀 수가 선형 프로그래밍 문제의 크기를 결정하며, 이는 차원에 대해 지수적이다.
• 변동도-노름 정규화는 편향 파라미터에 대해 이동 불변성이 없으며, 편향 의존성을 제거하면 희소성 결과가 무효가 된다.
• 이론적 결과는 기울기 강하의 수렴에 유리한 기하학적 특성을 시사한다. 최소화자가 지원 부근에서 국소 볼록성과 양의 곡률를 보이기 때문이다.