[논문 리뷰] Net-Trim: Convex Pruning of Deep Neural Networks with Performance Guarantee

Alireza Aghasi, Afshin Abdi외 2명|arXiv (Cornell University)|2016. 11. 16.

Stochastic Gradient Optimization Techniques인용 수 114

한 줄 요약

Net-Trim은 층별 볼록 가지치기 방법을 도입하여 훈련된 신경망을 희소화하되 층의 입력-출력 관계를 관리 가능한 오차 범위 내에서 보존하고, 성능 보장과 두 가지 재학습 전략(병렬 및 계단식)을 제공한다.

ABSTRACT

We introduce and analyze a new technique for model reduction for deep neural networks. While large networks are theoretically capable of learning arbitrarily complex models, overfitting and model redundancy negatively affects the prediction accuracy and model variance. Our Net-Trim algorithm prunes (sparsifies) a trained network layer-wise, removing connections at each layer by solving a convex optimization program. This program seeks a sparse set of weights at each layer that keeps the layer inputs and outputs consistent with the originally trained model. The algorithms and associated analysis are applicable to neural networks operating with the rectified linear unit (ReLU) as the nonlinear activation. We present both parallel and cascade versions of the algorithm. While the latter can achieve slightly simpler models with the same generalization performance, the former can be computed in a distributed manner. In both cases, Net-Trim significantly reduces the number of connections in the network, while also providing enough regularization to slightly reduce the generalization error. We also provide a mathematical analysis of the consistency between the initial network and the retrained model. To analyze the model sample complexity, we derive the general sufficient conditions for the recovery of a sparse transform matrix. For a single layer taking independent Gaussian random vectors of length $N$ as inputs, we show that if the network response can be described using a maximum number of $s$ non-zero weights per node, these weights can be learned from $\\mathcal{O}(s\\log N)$ samples.

연구 동기 및 목표

• 훈련된 심층 네트워크에서 과적합과 중복성을 줄이기 위한 모델 축소를 동기부여한다.
• 레이어별 볼록 가지치기 프레임워크를 개발하여 희소한 가중치 행렬을 얻도록 한다.
• 원래 네트워크와 재학습된 네트워크 간의 일관성에 대한 이론적 보장을 제공한다.
• 계산적으로 실현 가능한 실용적인 병렬 및 캐스케이드 재학습 스킴을 제공한다.

제안 방법

• ReLU 제약의 볼록 완화에 의해 층 간 일관성을 강제하면서 가중치 행렬의 l1 노름을 최소화하여 각 층을 가지치기하는 볼록 대리점을 공식화한다.
• 주어진 층에 대해, 원래 층 출력과 일관된 활성화 후 출력을 근사하는 제약 조건하에 min ||U||1을 풀이한다.
• 두 가지 재학습 스킴을 제공한다: parallel Net-Trim (독립적인 층 재학습)과 cascade Net-Trim (층 출력이 후속 재학습으로 전파되는 재학습).
• 층 간 재학습 오차의 전파에 대한 이론적 한계를 도출한다(정리 1과 정리 2).
• 특수 케이스 분석은 가우시안 입력 설정에서 희소 가중치 행렬 학습의 샘플 복잡도를 보여준다(정리 3).
• 높은 희소성(예: 예시에서 93%가 넘는 링크가 가지치기)에서의 실용적 가지치 능력과 기존 학습 규제와의 호환성을 보인다.

실험 결과

연구 질문

• RQ1 레이어별 볼록 프로그램이 원래의 층 출력과 재학습된 층 출력 간의 유사성을 유지하면서 희소 가중치 행렬을 회복할 수 있는가?
• RQ2 레이어를 순차적으로 또는 병렬로 재학습할 때 오차 전파에 대한 이론적 보장은 무엇인가?
• RQ3 가우시안 입력 가정하에서 희소한 층 변환을 회복하는 데 필요한 샘플 수는 몇 개인가?
• RQ4 병렬 Net-Trim과 cascade Net-Trim은 희소성, 실행 가능성, 일반화 성능 측면에서 어떻게 비교되는가?
• RQ5 Net-Trim을 훈련 후 기존 정규화 기법과 재훈련 없이 결합할 수 있는가?

주요 결과

• Net-Trim은 여러 층에 걸쳐 네트워크 반응을 원래의 epsilon 이내로 제어하며 상당한 희소화를 달성한다.
• Parallel Net-Trim은 각 층을 볼록 프로그램으로 독립적으로 재학습하여 분산 계산을 가능하게 하고 층 단위 오차 누적을 경계 짓는다(오차의 합).
• Cascade Net-Trim은 실행 가능성을 유지하기 위해 팽창된 허용오차로 층을 순차적으로 재학습하여 더 희소한 모델을 만들 수 있으며 오차 증가가 약간 다를 수 있다.
• 가우시안 입력의 경우, 열당 비제로가 최대 s인 희소 가중치 행렬을 O(s log N) 샘플에서 학습할 수 있다(정리 3).
• Net-Trim은 이미 학습된 네트워크를 후처리하여 dropout이나 l1 패널티와 같은 기존 규제보다 더 모델 복잡성을 줄일 수 있다.
• 이 프레임워크는 원래의 네트워크와 재학습된 네트워크 간의 근접한 대응을 보존하는 체계적이고 볼록한 가지치기 접근법(일관성 보장)을 제공한다.