[논문 리뷰] On the Predictability of Pruning Across Scales

Jonathan S. Rosenfeld, Jonathan Frankle외 2명|arXiv (Cornell University)|2020. 06. 18.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 17

한 줄 요약

이 논문은 반복적 크기 자르기(IMP)를 적용한 신경망에 대한 예측 가능한 스케일링 법칙을 제안하며, 일반화 오차가 넓이, 깊이, 자르기 밀도에 관계없이 동일한 기능 형태를 따른다는 것을 보여준다. 주요 기여는 해석 가능한 수학적 스케일링 법칙을 제시하여 다양한 아키텍처와 데이터셋(이미지넷 및 ResNets 포함)에서 정확한 오차 예측이 가능하게 한다. 이는 오차 제약 조건 하에서 정제된 모델 크기의 분석적 최적화를 가능하게 한다.

ABSTRACT

We show that the error of iteratively magnitude-pruned networks empirically follows a scaling law with interpretable coefficients that depend on the architecture and task. We functionally approximate the error of the pruned networks, showing it is predictable in terms of an invariant tying width, depth, and pruning level, such that networks of vastly different pruned densities are interchangeable. We demonstrate the accuracy of this approximation over orders of magnitude in depth, width, dataset size, and density. We show that the functional form holds (generalizes) for large scale data (e.g., ImageNet) and architectures (e.g., ResNets). As neural networks become ever larger and costlier to train, our findings suggest a framework for reasoning conceptually and analytically about a standard method for unstructured pruning.

연구 동기 및 목표

• 오차 제약 조건 하에서 최소 파라미터 수를 확보하기 위해 넓이, 깊이, 정제 밀도를 최적 선택하는 데 있어 원칙적인 지침이 부족한 문제를 해결하기 위해.
• 아키텍처 및 데이터셋 규모에 관계없이 정제된 네트워크의 일반화 오차를 예측할 수 있는 기능 형태를 규명하기 위해.
• 오차를 유지하면서 넓이, 깊이, 정제 밀도 간 상호 교환 가능성을 가능하게 하는 불변성을 밝혀내기 위해.
• 피 Lot 재학습 없이도 정제된 네트워크 성능을 예측할 수 있는 확장 가능하고 데이터 효율적인 방법을 개발하기 위해.
• 오차 제약 조건 하에서 최소 파라미터 수를 갖는 모델을 분석적으로 최적화할 수 있도록 깊이, 넓이, 데이터셋 크기, 정제 밀도의 통합 스케일링 법칙을 수립하기 위해.

제안 방법

• 단일 네트워크에서 반복적 크기 자르기(IMP)를 적용한 결과를 바탕으로 정제 수준에 따라 오차를 예측하는 기능 형태를 제안한다.
• 깊이, 넓이, 정제 밀도 간의 관계를 정의하는 불변성을 도입하여 이들 변수를 비례적으로 조정해도 오차가 유지됨을 보장한다.
• 단일 네트워크 스케일링 법칙을 깊이(l), 넓이(w), 데이터셋 크기(d), 정제 밀도(p)를 포함하여 확장하여 통합 스케일링 법칙을 수립하고, 불변성을 통해 이들 차원 간의 스케일링을 통합한다.
• 거듭제곱 법칙 기능 형태를 사용: ε ∝ (l^φ w^ψ d - j p'^γ)^(-1/γ), 여기서 계수는 해석 가능하며 소규모 데이터에 피팅된다.
• 소규모 정제된 네트워크 평가 수를 최소화하여 스케일링 법칙을 피팅함으로써 새로운 아키텍처와 데이터셋으로의 효율적 전이가 가능하다.
• 적용된 스케일링 법칙을 사용해 오차 제약 조건 하에서 파라미터 수를 최소화하는 최적화 문제를 해결하며, 추가 학습 없이도 수행된다.

실험 결과

연구 질문

• RQ1 반복적 크기 자르기로 정제된 네트워크의 일반화 오차는 넓이, 깊이, 정제 수준이 매우 다를 경우에도 예측 가능할 수 있는가?
• RQ2 오차를 변화시키지 않으면서 넓이, 깊이, 정제 수준 간에 상호 교환 가능성을 보장하는 수학적 불변성이 존재하는가?
• RQ3 제안된 스케일링 법칙은 이미지넷과 같은 대규모 데이터셋 및 ResNets와 같은 아키텍처로도 일반화 가능한가?
• RQ4 스케일링 법칙을 사용해 주어진 오차 제약 조건을 만족하는 최소 파라미터 수를 갖는 네트워크를 분석적으로 결정할 수 있는가?
• RQ5 네트워크 규모와 데이터셋 크기의 수십 개 오르드에 걸쳐 오차 예측 정확도는 얼마나 높은가?

주요 결과

• IMP를 적용한 정제된 네트워크의 일반화 오차는 넓이, 깊이, 정제 밀도에 대해 예측 가능한 거듭제곱 법칙 스케일링 형태를 따르며, 계수는 해석 가능하다.
• 오차 유지가 가능한 불변성이 존재하여 깊이, 넓이, 정제 수준 간의 상호 교환 가능성이 보장되며, 아키텍처 하이퍼파rameter 간의 통합 스케일링이 가능하다.
• 통합 스케일링 법칙은 깊이, 넓이, 데이터셋 크기, 정제 밀도의 수십 개 오르드에 걸쳐 정확하게 오차를 예측하며, 이미지넷 및 ResNet 아키텍처에서도 성공적으로 적용된다.
• 오차 제약 조건 하에서 최소 크기 모델을 최적화할 때 진짜 최적 파라미터 수의 25% 이내 정확도로 예측 성능를 달성한다.
• 기능 형태 덕분에 추가 학습 없이도 정제된 모델의 분석적 최적화가 가능하며, 오차 제약 조건 하에서 최소 파라미터 수 문제를 해결할 수 있다.
• 스케일링 법칙은 데이터 효율적으로 피팅 가능하여 새로운 아키텍처와 데이터셋에 캘리브레이션하기 위해 소규모 정제된 네트워크 평가 수만으로도 충분하다.