[논문 리뷰] Data-Dependent Coresets for Compressing Neural Networks with Applications to Generalization Bounds

Cenk Baykal, Lucas Liebenwein외 3명|arXiv (Cornell University)|2018. 04. 15.

Neural Networks and Applications인용 수 48

한 줄 요약

이 논문은 CoreNet을 소개한다, 가중치의 중요도 샘플링을 통해 학습된 완전연결 신경망을 희소화하는 코어셋 기반의 방법으로, 출력 근사에 대한 보장과 새로운 일반화 경계가 제시된다.

ABSTRACT

We present an efficient coresets-based neural network compression algorithm that sparsifies the parameters of a trained fully-connected neural network in a manner that provably approximates the network's output. Our approach is based on an importance sampling scheme that judiciously defines a sampling distribution over the neural network parameters, and as a result, retains parameters of high importance while discarding redundant ones. We leverage a novel, empirical notion of sensitivity and extend traditional coreset constructions to the application of compressing parameters. Our theoretical analysis establishes guarantees on the size and accuracy of the resulting compressed network and gives rise to generalization bounds that may provide new insights into the generalization properties of neural networks. We demonstrate the practical effectiveness of our algorithm on a variety of neural network configurations and real-world data sets.

연구 동기 및 목표

• 훈련된 완전연결 신경망의 실용적 압축을 유도하여 저장 공간 및 추론 비용을 줄인다.
• 네트워크 출력을 사용자 정의 오차까지 보존하는 원리적 코어셋 기반 희소화 방법을 개발한다.
• 압축된 네트워크 크기, 근사 정확도 및 관련 일반화 경계에 대한 이론적 보장을 제공한다.
• 데이터 포인트 감소가 아닌 파라미터 감소로 전통적 코어셋을 확장한다.

제안 방법

• 네트워크 매개변수에 대해 $(\,psilon,\delta)$-코어셋을 정의하여 출력의 $(1\pm\u001epsilon)$-근사를 높은 확률로 보장한다.
• 새로운 경험적 민감도 측정을 활용한 네트워크 에지에 대한 중요도 샘플링 스킴을 도입한다.
• 데이터 부분집합에서 캐시된 활성화를 사용하여 뉴런별 에지 민감도를 계산하고 편향되지 않은 재가중으로 에지 희소화를 수행한다.
• 부호 연결을 다루기 위해 양수 및 음수 가중치에 대해 별도의 희소화를 적용한 후 결과를 통합한다.
• 더 나은 압축률을 위해 CoreNet+(뉴런 가지치기) 및 CoreNet++(다중 코어셋을 통한 증폭)으로 CoreNet을 확장한다.
• 레이어 간 근사 보장을 코어 샘플링과 연결하는 이론적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 코어셋 기반 접근 방식이 출력의 특정 오차 한도 내에서 네트워크 매개변수를 희소화할 수 있는가?
• RQ2 데이터 의존적 코어셋을 사용한 매개변수 축소 시 압축된 네트워크 크기와 일반화에 대한 이론적 보장은 무엇인가?
• RQ3 에지 단위의 중요도 샘플링이 균등화나 노름 기반 희소화에 비해 정확도 보존에 어떻게 비교되는가?
• RQ4 뉴런 가지치기 및 증폭과 같은 확장이 보장에 손실 없이 압축을 실제로 개선하는가?
• RQ5 메서드가 다양한 데이터셋과 아키텍처에서 정확도와 압축 비율 측면에서 어떻게 수행되는가?

주요 결과

• CoreNet은 MNIST 및 FashionMNIST에서 원래 크기의 약 15% 수준으로 학습된 완전연결 네트워크를 희소화하되 정확도 손실은 최소화하며 CIFAR-10에서는 약 50%를 달성한다.
• 경험적 민감도 기반 샘플링은 테스트된 아키텍처와 데이터셋 전반에서 균등 샘플링 및 노름 기반 매트릭스 희소화보다 더 나은 압축 성능을 보인다.
• 이 방법은 압축된 네트워크 출력이 원래 출력의 선택된 상대 오차 이내에 있음을 확률적으로 보장한다.
• 뉴럴 가지치기를 추가하는 CoreNet+ 및 증폭을 포함하는 CoreNet++은 이론적 보장을 훼손하지 않으면서 압축을 더 개선한다.
• 보조정리들은 제안된 접근법으로 압축된 네트워크의 일반화 경계를 제시하며, 경험적 민감도와 일반화 성능 사이를 연결한다.