[논문 리뷰] The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks

Gen Li, Yuantao Gu외 1명|arXiv (Cornell University)|2020. 10. 02.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 두 계층 신경망에서 $L_1$ 정규화가 은닉 뉴런 수를 명시적으로 선택하지 않더라도 모델 복잡도를 제어함으로써 거의 최소 최대 최적의 일반화 오차 경계를 달성할 수 있음을 보여준다. 출력층 계수에 $L_1$ 정규화를 적용함으로써 위험 경계는 $O((d/n)^{1/2})$ 속도(로그 요소를 제외하고)를 달성하며, 입력층에 대한 $L_1$ 정규화는 입력 차원 $d$에 따라 스케일링되지 않는 차원 자유 경계를 제공하여 고차원 환경에서 희소성과 강건성을 가능하게 한다.

ABSTRACT

A crucial problem in neural networks is to select the most appropriate number of hidden neurons and obtain tight statistical risk bounds. In this work, we present a new perspective towards the bias-variance tradeoff in neural networks. As an alternative to selecting the number of neurons, we theoretically show that $L_1$ regularization can control the generalization error and sparsify the input dimension. In particular, with an appropriate $L_1$ regularization on the output layer, the network can produce a statistical risk that is near minimax optimal. Moreover, an appropriate $L_1$ regularization on the input layer leads to a risk bound that does not involve the input data dimension. Our analysis is based on a new amalgamation of dimension-based and norm-based complexity analysis to bound the generalization error. A consequent observation from our results is that an excessively large number of neurons do not necessarily inflate generalization errors under a suitable regularization.

연구 동기 및 목표

• 두 계층 신경망에서 모델 복잡도와 통계적 위험의 과제를 해결하기 위해, 특히 최적의 은닉 뉴런 수를 선택하는 데 어려움이 있음을 다루기 위해.
• 모델 복잡도를 통제하기 위해 $L_1$ 정규화가 명시적 아키텍처 선택의 대안이 될 수 있는지 조사하기 위해.
• 높은 입력 차원성에 강건하고 뉴런 수에 따른 편향-분산 트레이드오프를 피하는 날카운 통계적 위험 경계를 유도하기 위해.
• 과도하게 많은 뉴런 수가 적절한 $L_1$ 정규화 하에서 일반화 오차를 반드시 증가시키지 않는다는 것을 입증하기 위해.
• 차원 기반 및 노름 기반 접근 방식을 통합한 통합된 복잡도 분석을 개발하기 위해.

제안 방법

• 출력 가중치에 대해 $\|a\|_1 \leq V$ 조건을 만족하는 함수 클래스 위에서 제약을 가한 $L_1$ 추정기를 제안하며, 입력 가중치에 대해 $\sup_j (\|w_j\|_1 + |b_j|) \leq \eta$ 조건을 적용하여 동시 정규화를 가능하게 한다.
• 일반화 오차 경계를 유도하기 위해 차원 기반 및 노름 기반 복잡도 분석의 새로운 융합을 도입하며, 라데머슈어 복잡도와 노름 기반 측도를 결합한다.
• 적절한 정규화 하에서 $L_1$ 학습 손실 하에서 위험 경계를 도출하며, 최소 최대 최적의 $O((d/n)^{1/2})$ 수렴 속도에 근접하는 결과를 보인다.
• 입력층 가중치에 $L_1$ 제약 조건을 부여하여 입력 차원 $d$에 의존하지 않는 차원 자유 위험 경계를 달성하며, 이 경계는 진짜 희소성 수준 $k$에만 의존한다.
• 유한한 입력 도메인을 가정하여 $d$ 및 $r$에 독립적인 위험 경계를 도출하며, $\mathcal{R}(\hat{f}_n) \lesssim C\delta_\eta + \frac{V\eta + \tau}{\sqrt{n}}$ 를 얻는다.
• ReLU 또는 시그모이드 활성화 함수를 사용하며, 농도 정규화된 노이즈를 가정하여 농도 불확실성 부등식을 통해 고확률 위험 경계를 도출한다.

실험 결과

연구 질문

• RQ1 출력층에 대한 $L_1$ 정규화가 최소 최대 최적에 근접하는 통계적 위험 경계를 달성할 수 있는가, 즉 파arametric 속도 $O((d/n)^{1/2})$에 수렴하는가?
• RQ2 입력층에 대한 $L_1$ 정규화가 입력 차원 $d$에 독립적인 위험 경계를 제공함으로써 고차원 설정에서 희소성을 가능하게 하는가?
• RQ3 다양한 뉴런 수를 가진 여러 아키텍처를 통한 모델 선택 대비, 하나의 큰 신경망에 $L_1$ 정규화를 적용한 것이 성능을 뛰어넘을 수 있는가?
• RQ4 과도하게 많은 은닉 뉴런 수가 $L_1$ 정규화와 함께 적용될 경우 일반화 오차가 증가하는가?
• RQ5 제안된 방법이 $d \gg n$ 인 고차원 입력 환경에서 차원 자유 위험 경계를 달성할 수 있는가?

주요 결과

• 출력층에 대한 $L_1$ 정규화 추정기는 $\mathcal{R}(\hat{f}_n) \lesssim \sqrt{\{d\log(dn)\}/n}$ 의 위험 경계를 달성하며, 이는 $L_1$ 학습 손실 하에서 최소 최대 최적의 속도 $O((d/n)^{1/2})$ 에 근접한다.
• 입력층에 대한 $L_1$ 정규화를 적용할 경우 위험 경계는 $\mathcal{R}(\hat{f}_n) \lesssim \sqrt{\{k\log(dn)\}/n}$ 가 되며, 여기서 $k$ 는 진짜 희소성 수준이며 $d$ 에 의존하지 않는다.
• 출력층과 입력층 모두 정규화될 경우 위험 경계 $\mathcal{R}(\hat{f}_n) \lesssim C\delta_\eta + \frac{V\eta + \tau}{\sqrt{n}}$ 는 큰 $r$ 에서 $d$ 및 $r$ 에 독립적이게 된다.
• $\sigma(x) = 1/(1+e^{-x})$ 이고 $\eta \asymp (n\log^2 n)^{1/3}$ 일 때, 위험 경계는 $\mathcal{R}(\hat{f}_n) \lesssim V(\log n / n)^{1/3}$ 에 도달하며, 이는 $d \gg n$ 일 때 $O(n^{-1/2})$ 보다 더 날카롭다.
• 분석 결과, $L_1$ 정규화 하에서 과도하게 많은 뉴런 수가 일반화 오차를 반드시 증가시키지 않으며, 정규화가 효과적 모델 복잡도를 제어하기 때문이다.
• 제안된 방법은 $d \gg n$ 일지라도, 로그 요소를 제외하고 최소 최대 최적의 차원 자유 위험 경계를 달성한다.