[논문 리뷰] Learning Compact Neural Networks with Regularization

Samet Oymak|arXiv (Cornell University)|2018. 02. 05.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 일반화와 최적화 성능을 향상시킬 수 있는 컴팩트한 얕은 신경망을 학습하기 위한 정규화된 경사하강 프레임워크를 제안한다. 제약집합의 복잡도를 측정하기 위해 커버링 차원을 도입함으로써, 데이터 크기가 이 차원을 초과하면 국소적 선형 수렴과 근사 최적의 샘플 복잡도를 확보할 수 있음을 입증한다. 이는 희소성, 저질서, 또는 가중치 공유 제약 조건이 있는 과도하게 파rameter화된 모델의 효율적 학습을 가능하게 한다.

ABSTRACT

Proper regularization is critical for speeding up training, improving generalization performance, and learning compact models that are cost efficient. We propose and analyze regularized gradient descent algorithms for learning shallow neural networks. Our framework is general and covers weight-sharing (convolutional networks), sparsity (network pruning), and low-rank constraints among others. We first introduce covering dimension to quantify the complexity of the constraint set and provide insights on the generalization properties. Then, we show that proposed algorithms become well-behaved and local linear convergence occurs once the amount of data exceeds the covering dimension. Overall, our results demonstrate that near-optimal sample complexity is sufficient for efficient learning and illustrate how regularization can be beneficial to learn over-parameterized networks.

연구 동기 및 목표

• 일반화와 최적화 성능을 향상시키는 정규화를 활용한 컴팩트한 신경망 학습을 위한 일반적 프레임워크를 개발하는 것.
• 제약집합의 커버링 차원을 사용하여 정규화의 모델 복잡도에 미치는 영향을 정량화하는 것.
• 근사 최적의 샘플 복잡도를 갖는 정규화된 경사하강의 증명 가능한 국소적 선형 수렴을 확립하는 것.
• 컨볼루션 네트워크와 깊은 네트워크의 중간 레이어와 같은 구조적 아키텍처로 이론적 보장을 확장하는 것.
• 정규화가 최적화 지형을 제어함으로써 과도하게 파rameter화된 모델의 효율적 학습을 가능하게 한다는 것을 보여주는 것.

제안 방법

• 일반화와 최적화 분석을 위해 제약집합의 복잡도를 측정하기 위해 커버링 차원을 도입하는 것.
• 제약집합 $\mathcal{C}$ 의 사전 지식을 통합한 정규화된 경사하강 알고리즘을 제안하는 것.
• 데이터 크기가 $\mathcal{C}$ 의 커버링 차원을 초과하면 문제의 최적화 지형이 잘 조절된다는 것을 보여주어 최적화 지형을 분석하는 것.
• 레드마커 복잡도를 사용하여 일반화 오차를 경계 짓고, 이 오차가 $\mathcal{C}$ 의 커버링 차원과 히든 유닛 수 $h$ 의 합에 의존함을 보여주는 것.
• 가중치 공유와 텐서 초기화를 활용하여 컨볼루션 네트워크에 프레임워크를 적용함으로써 전역 수렴을 향상시키는 것.
• 무작위 활성화 가정 하에 중간 레이어 학습을 모델링하여 깊은 네트워크로 결과를 확장하고, 최소한의 데이터 요구 조건으로 전역 선형 수렴을 달성하는 것.

실험 결과

연구 질문

• RQ1 정규화는 얕은 신경망의 일반화 및 최적화 성질에 어떻게 영향을 미치는가?
• RQ2 제약집합의 커버링 차원은 샘플 복잡도와 수렴 행동을 결정하는 데 어떤 역할을 하는가?
• RQ3 과도하게 파rameter화된 환경에서 정규화된 경사하강이 근사 최적의 샘플 복잡도를 갖는 국소적 선형 수렴을 달성할 수 있는가?
• RQ4 희소성, 저질서, 가중치 공유 제약 조건은 신경망의 일반화 및 최적화에 어떻게 영향을 미치는가?
• RQ5 무작위 활성화 모델을 사용한 중간 레이어 학습을 통해 제안된 프레임워크를 깊은 네트워크로 확장할 수 있는가?

주요 결과

• 학습 샘플 수가 제약집합의 커버링 차원과 히든 유닛 수 $h$ 의 합을 초과할 경우 일반화 오차가 경계됨을 입증하였다.
• 데이터 크기가 제약집합 $\mathcal{C}$ 의 커버링 차원을 초과하면 정규화된 경사하강이 국소적 선형 수렴을 달성한다.
• 이 프레임워크는 이전 연구에 비해 필요한 샘플 복잡도를 감소시키고, 완전히 연결된 네트워크에서 국소 수렴의 수렴 반경을 증가시켜 향상된 성능를 제공한다.
• 컨볼루션 네트워크의 경우, 텐서 초기화와 결합함으로써 전역 수렴 보장을 향상시킨다.
• 깊은 네트워크에서는 무작위 활성화 모델 하에서 중간 레이어 학습에 대해 최소한의 데이터 요구 조건으로 전역 선형 수렴이 달성된다.
• 커버링 차원은 일반화와 최적화 모두에 핵심 제어 변수로서 기능하며, 제약 조건의 구조와 샘플 효율성 간의 연결 고리를 제공한다.