[논문 리뷰] The Combinatorial Brain Surgeon: Pruning Weights That Cancel One Another in Neural Networks

Xin Yu, Thiago Serra외 2명|arXiv (Cornell University)|2022. 03. 09.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

조합 최적화 뇌 외과의술(CBS)은 손실 증가를 최소화하기 위해 복합적인 영향을 고려해 함께 제거할 가중치를 선택하는 새로운 프루닝 방법을 제안한다. 혼합정수이차계획법(MIQP) 수식을 사용하며, 특히 높은 희박성(예: 95–98%)에서 기존의 크기 기반 및 헤시안 기반 방법보다 뛰어나며, 가중치 상쇄 효과와 단일 패assing 가중치 업데이트를 통해 MNIST, CIFAR-10, ImageNet 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Neural networks tend to achieve better accuracy with training if they are larger -- even if the resulting models are overparameterized. Nevertheless, carefully removing such excess parameters before, during, or after training may also produce models with similar or even improved accuracy. In many cases, that can be curiously achieved by heuristics as simple as removing a percentage of the weights with the smallest absolute value -- even though magnitude is not a perfect proxy for weight relevance. With the premise that obtaining significantly better performance from pruning depends on accounting for the combined effect of removing multiple weights, we revisit one of the classic approaches for impact-based pruning: the Optimal Brain Surgeon(OBS). We propose a tractable heuristic for solving the combinatorial extension of OBS, in which we select weights for simultaneous removal, as well as a systematic update of the remaining weights. Our selection method outperforms other methods under high sparsity, and the weight update is advantageous even when combined with the other methods.

연구 동기 및 목표

• 기존 프루닝 방법이 가중치 제거를 독립적으로 평가해 상호 보완적 영향을 간과하는 한계를 해결한다.
• 다중 가중치 제거의 영향을 동시에 최적화해 손실 증가를 최소화하는 조합 프루닝 문제를 수립한다.
• 지역 탐색과 반그리디니티 초기화를 사용해 NP-완전 문제를 해결할 수 있는 해석 가능한 히우리스틱을 개발한다.
• 가중치 선택과 가중치 업데이트를 분리해 확장성을 향상시키고 기존 프루닝 파ip라인과의 효율적 통합을 가능하게 한다.
• 공동 영향 고려가 과다 매개변수화된 모델에서 특히 높은 희박성 수준에서 훨씬 우수한 성능을 내는지 입증한다.

제안 방법

• 손실 함수의 이차 근사식을 사용해 제거된 가중치 집합이 초래하는 손실 증가를 모델링함으로써 조합 최적화 뇌 외과의술(CBS) 문제를 혼합정수이차계획법(MIQP)으로 수식화한다.
• 학습된 가중치 주변에서 손실의 기능적 테일러 전개를 사용하며, 국소 최소값을 가정하고 삼차항을 무시함으로써 손실 변화의 이차 근사식을 유도한다.
• 추정된 손실 증가를 줄이는 이웃해의 해를 탐색함으로써 반복적으로 프루닝할 가중치 선택을 향상시키는 지역 탐색 알고리즘을 적용한다.
• 다양한 초기 가중치 집합을 생성하기 위해 크기 기반 프루닝의 확률적 확장 방식을 도입함으로써 해 공간 탐색의 다양성을 향상시킨다.
• 기존의 최적 뇌 외과의술(OBS)의 영감을 얻어 다중 동시 제거에 일반화된 단일 패assing 체계적 가중치 업데이트 규칙(CBS-U)을 제안한다. 이는 효율적인 비프루닝 가중치 업데이트를 가능하게 한다.
• 가중치 선택과 가중치 업데이트를 분리함으로써 확장성 문제를 피하고 기존 프루닝 파이프라인과의 효율적 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 가중치 제거를 동시에 고려할 경우 순차적 또는 독립적 프루닝보다 더 나은 성능을 낼 수 있는가?
• RQ2 제거된 가중치 간의 상쇄 효과(즉, 손실에 미치는 병합 영향이 개별 영향보다 작을 경우)를 고려하면 고희박성에서 모델 정확도가 향상되는가?
• RQ3 비용이 많이 드는 헤시안 계산에 의존하지 않고도 NP-완전 문제를 해결할 수 있는 해석 가능한 히우리스틱을 설계할 수 있는가?
• RQ4 제안된 단일 패assing 가중치 업데이트(CBS-U)는 기존의 헤시안 기반 업데이트 전략과 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 특히 극단적인 희박성 수준(예: 95–98%)에서 다양한 아키텍처와 데이터셋에서 성능을 유지하거나 향상시키는가?

주요 결과

• ImageNet에서 MobileNet을 사용할 때 98% 희박성에서 CBS-S(조합 가중치 선택)는 크기 기반 프루닝(MP) 대비 정확도를 17.20% 향상시켰다. 정확도는 10.12%에서 15.49%로 상승했다.
• ResNet20을 사용한 CIFAR-10에서 95% 희박성일 경우 CBS-S는 MP의 17.61%에서 32.63%로 정확도를 17.82% 향상시켰다. 이는 극단적 희박성에서도 뛰어난 성능을 보였다.
• MobileNet에서 60% 희박성일 경우 CBS-U(단일 패assing 가중치 업데이트)는 정확도를 최대 24.39% 향상시켰다. 이는 효율적인 가중치 업데이트가 성능 향상에 크게 기여함을 보여준다.
• MLPNet을 사용한 MNIST에서 CBS-S는 95% 희박성에서 93.96%의 정확도를 달성했으며, MP(83.64%)와 WF-S(83.16%)를 10个百分点 이상 앞서는 성능을 보였다.
• CBS-S와 CBS-U가 함께 사용될 경우 모든 벤치마크에서 최신 기술 수준의 결과를 얻었으며, 고희박성 수준에서 크기 기반 프루닝 및 WoodFisher보다 일관되게 우수한 성능을 보였다.
• 이 방법은 아키텍처에 관계없이 강건하다. 다양한 모델(MLPNet, ResNet20, CIFARNet, MobileNet)에서 여러 희박성 수준에서 최고 또는 2위 성능을 기록했다.