[논문 리뷰] Data-Independent Structured Pruning of Neural Networks via Coresets

Ben Mussay, Daniel E. Feldman외 3명|arXiv (Cornell University)|2020. 08. 19.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 코어셋 프레임워크를 사용하여 신경망에 대한 데이터 독립적 구조적 프루닝 방법을 제안한다. 이 방법은 모든 입력, 포함하여 악성 예측 입력에 대해서도 근사 오차의 증명 가능한 경계를 보장한다. 레이어 단위로 뉴런/필터의 코어셋을 구성함으로써, 높은 압축률을 달성하면서도 강력한 이론적 보장을 확보하고 기존 방법보다 빠른 학습을 실현한다.

ABSTRACT

Model compression is crucial for deployment of neural networks on devices with limited computational and memory resources. Many different methods show comparable accuracy of the compressed model and similar compression rates. However, the majority of the compression methods are based on heuristics and offer no worst-case guarantees on the trade-off between the compression rate and the approximation error for an arbitrarily new sample. We propose the first efficient structured pruning algorithm with a provable trade-off between its compression rate and the approximation error for any future test sample. Our method is based on the coreset framework and it approximates the output of a layer of neurons/filters by a coreset of neurons/filters in the previous layer and discards the rest. We apply this framework in a layer-by-layer fashion from the bottom to the top. Unlike previous works, our coreset is data independent, meaning that it provably guarantees the accuracy of the function for any input $x\in \mathbb{R}^d$, including an adversarial one.

연구 동기 및 목표

• 기존 모델 압축 방법에서의 최악의 경우 보장을 부족한 점, 특히 미리보지 않은 입력이나 악성 예측 입력에 대한 근사 오차에 대해 해결하고자 한다.
• 압축률과 근사 오차 사이의 증명 가능한 트레이드오프를 보장하는 구조적 프루닝 프레임워크를 개발하고자 한다.
• 최소한의 미세조정으로 효율적인 일회성 압축을 가능하게 하여 압축 모델의 초깃값 근사 품질을 향상시키고자 한다.
• 데이터 독립성을 확보하여 학습 또는 검증 데이터 외의 모든 입력에 대해 안정적으로 성능을 발휘하도록 하고자 한다.
• 이론적 보장과 실용적 효율성을 융합하여 자원 제약이 있는 장치에 실질적으로 적용 가능한 방법을 확보하고자 한다.

제안 방법

• 방법은 신경망 레이어에 코어셋 프레임워크를 적용하여, 뉴런 또는 필터를 근사하고자 하는 점으로 간주한다.
• 각 레이어에서 이전 레이어의 뉴런/필터 코어셋을 구성하여 현재 레이어의 출력을 증명 가능하게 근사한다.
• 코어셋 알고리즘은 뉴런/필터의 부분집합을 선택하고, 근사 품질을 유지하기 위해 새로운 가중치를 할당한다.
• 프레임워크는 네트워크의 하단에서 상단으로 레이어 단위로 적용되어 종단 간 압축을 가능하게 한다.
• 완전히 연결된 레이어와 컨볼루션 레이어 모두 지원하며, ReLU와 같은 일반적인 활성화 함수에 특화된 코어셋 구성 방식을 제공한다.
• 방법은 일회성이며 데이터 독립적이다. 즉, 보장을 위해 학습 데이터 분포에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 구조적 프루닝 방법이 모든 입력, 포함하여 악성 예측 입력에 대해 근사 오차의 증명 가능한 최악의 경우 보장을 제공할 수 있는가?
• RQ2 코어셋 프레임워크는 신경망 프루닝에 어떻게 적응시켜 높은 압축률과 강력한 이론적 경계를 동시에 확보할 수 있는가?
• RQ3 데이터 독립적 프루닝 방법이 데이터 의존적 방법보다 미리보지 않은 입력에 대한 강건성과 일반화 성능에서 뛰어나게 성능을 내는가?
• RQ4 고품질의 초깃값 근사가 압축 모델의 미세조정 시간을 어느 정도 줄일 수 있는가?
• RQ5 코어셋 기반 접근법은 최첨단 방법과 비교해 유사한 정확도를 달성하면서도 더 강력한 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 방법은 VGG-19(CIFAR-10)에서 70%의 압축률을 달성했으며, 미세조정 이전의 모델 정확도는 6.02%로 기존 방법보다 근사 품질에서 뛰어났다.
• ResNet-56에서는 40%의 압축률을 기록했고, 상위-1 정확도는 25.11%로 최첨단 성능을 충족하거나 초월했으며, 이론적 보장을 확보했다.
• ResNet-50(ImageNet)에서는 파라미터의 62%를 감소시켰고, 상위-1 정확도는 25.11%를 기록하여 대규모 모델에 대한 확장성을 입증했다.
• 코어셋을 통한 초깃값 근사 덕분에 미세조정 시간이 크게 단축되었으며, 그림 7에서 랜덤 초기화보다 정확도 수렴 속도가 더 빠른 것으로 확인되었다.
• VGG-19에서 [36]보다 미세조정 이전 정확도 향상에서 12% 높은 성능을 기록하여, 초깃값 근사 품질이 뛰어나다는 것을 시사했다.
• 프레임워크는 일회성이며 계산적으로 효율적이며, 코어셋 구축 속도가 빠르고 반복적 보정이 최소한으로 필요하다.