[논문 리뷰] Data-Independent Neural Pruning via Coresets

Ben Mussay, Margarita Osadchy외 3명|arXiv (Cornell University)|2019. 07. 09.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 7

한 줄 요약

이 논문은 테스트 입력(포함하여 악성 입력까지)에 대해 압축률과 근사 오차 간의 증명 가능 보장을 보장하는 첫 번째 데이터 독립 신경망 프루닝 방법을 제안한다. 뉴런을 코어셋 프레임워크 내의 점으로 간주하고 계층별로 프루닝함으로써, LeNet-300-100에서 90%의 압축을 달성했으며, MNIST 정확도가 향상되었으며, 샘플링 기반 기준보다 뛰어나고, 더 빠른 피니튜닝을 가능하게 했다.

ABSTRACT

Previous work showed empirically that large neural networks can be significantly reduced in size while preserving their accuracy. Model compression became a central research topic, as it is crucial for deployment of neural networks on devices with limited computational and memory resources. The majority of the compression methods are based on heuristics and offer no worst-case guarantees on the trade-off between the compression rate and the approximation error for an arbitrarily new sample. We propose the first efficient, data-independent neural pruning algorithm with a provable trade-off between its compression rate and the approximation error for any future test sample. Our method is based on the coreset framework, which finds a small weighted subset of points that provably approximates the original inputs. Specifically, we approximate the output of a layer of neurons by a coreset of neurons in the previous layer and discard the rest. We apply this framework in a layer-by-layer fashion from the top to the bottom. Unlike previous works, our coreset is data independent, meaning that it provably guarantees the accuracy of the function for any input $x\in \mathbb{R}^d$, including an adversarial one. We demonstrate the effectiveness of our method on popular network architectures. In particular, our coresets yield 90\% compression of the LeNet-300-100 architecture on MNIST while improving the accuracy.

연구 동기 및 목표

• 기존 모델 압축 방법에서 악성 입력 상황에서도 증명 가능한 최악의 경우 보장을 갖추지 못한 점을 해결하기 위해.
• 학습 데이터 통계에 의존하지 않고, 향후 모든 테스트 샘플에 대해 정확도 한계를 보장하는 데이터 독립 프루닝 프레임워크를 개발하기 위해.
• 특히 자원 제약이 있는 배포 환경에서 정확도를 훼손하지 않으면서도 높은 압축률을 달성하기 위해.
• 희소 가중치 구현의 복잡성을 피하면서도 계산 효율성이 높은 방법을 제공하기 위해.

제안 방법

• 이 방법은 신경망 계층 내의 뉴런을 코어셋 프레임워크 내의 점으로 간주하여, 전체 계층의 출력을 증명 가능하게 근사하는 작은 가중치가 부여된 부분집합을 선택한다.
• 코어셋 구축 알고리즘을 네트워크 상단에서 하단으로 계층별로 적용하여, 뉴런을 선택하고 다음 계층으로의 가중치를 갱신한다.
• 코어셋 크기는 소정의 근사 오차와 이론적으로 연관되어 있어, 압축과 정확도 사이의 증명 가능한 트레이드오프를 가능하게 한다.
• 일반적인 활성화 함수(예: ReLU, sigmoid)에 대해 알려진 코어셋 구성 기법을 활용하여 이론적 보장을 확보한다.
• 기존의 코어셋 알고리즘(예: Braverman 등, 2016)을 뉴런 출력에 적응하여 적용함으로써, 어떤 입력 분포에도 강건함을 확보한다.
• 프루닝 이후 모델은 정확도 향상을 위해 피니튜닝되며, 균일 샘플링 기준보다 훨씬 짧은 학습 시간을 요구한다.

실험 결과

연구 질문

• RQ1 어떤 입력(악성 예제 포함)에 대해서도 근사 오차에 대해 증명 가능한 보장을 갖는 신경망 프루닝 방법을 설계할 수 있는가?
• RQ2 이러한 방법이 학습 데이터 통계에 의존하지 않는 데이터 독립적일 수 있는가?
• RQ3 압축-정확도 트레이드오프 측면에서 코어셋 기반 뉴런 선택은 균일 샘플링 또는 백분위수 기반 선택보다 어떻게 비교되는가?
• RQ4 실제로 제안된 프루닝 프레임워크의 계산 효율성은 어떠한가?
• RQ5 특히 VGG-16과 같은 깊은 네트워크에서 높은 압축률을 달성하면서 정확도 저하 없이 성능을 유지할 수 있는가?

주요 결과

• 제안된 코어셋 기반 프루닝은 MNIST에 대해 LeNet-300-100 아키텍처에서 90%의 압축을 달성하면서 분류 정확도가 향상되었다.
• 모든 압축 수준에서 균일 샘플링 및 백분위수 기반 코어셋 선택보다 우수했으며, 평균 근사 오차가 유의미하게 낮았다.
• 코어셋 기반 프루닝 모델의 피니튜닝에는 균일 샘플링 기준의 절반 정도의 시간만 소요되어 학습 기간이 단축되었다.
• 균일 샘플링은 동일 조건에서 급격히 정확도가 떨어지는 반면, 코어셋 방법은 높은 압축률에서도 높은 정확도를 유지했다.
• 프레임워크는 빠른 계산 성능을 보였으며, 지정된 하드웨어에서 VGG-16의 각 밀집 계층을 약 56초 내로 압축했다.
• 이론적 분석을 통해 코어셋 근사는 $ x \in \mathbb{R}^d $ 인 모든 입력, 특히 악성 입력에 대해서도 성립함을 확인하여 강건성을 입증했다.