[논문 리뷰] Model Preserving Compression for Neural Networks

Jerry Chee, Megan Renz외 2명|arXiv (Cornell University)|2021. 07. 30.

Seismic Imaging and Inversion Techniques인용 수 4

한 줄 요약

이 논문은 보존된 모델의 예측 결정과 구조를 유지하면서 피지컬 테이닝 없이 동시에 채널 활성화를 정리하고 압축하는 모델 보존 압축 방법을 제안한다. 이 방법은 보간 분해(Interpolative Decomposition, ID)를 사용하여 CIFAR-10에서 원본 모델과 97.3%의 예측 상관관계를 달성하고 ImageNet에서도 경쟁 가능한 정확도를 유지한다. 또한 자동으로 각 레이어의 압축 크기를 설정할 수 있고 이론적 분석도 가능하다.

ABSTRACT

After training complex deep learning models, a common task is to compress the model to reduce compute and storage demands. When compressing, it is desirable to preserve the original model's per-example decisions (e.g., to go beyond top-1 accuracy or preserve robustness), maintain the network's structure, automatically determine per-layer compression levels, and eliminate the need for fine tuning. No existing compression methods simultaneously satisfy these criteria $\unicode{x2014}$ we introduce a principled approach that does by leveraging interpolative decompositions. Our approach simultaneously selects and eliminates channels (analogously, neurons), then constructs an interpolation matrix that propagates a correction into the next layer, preserving the network's structure. Consequently, our method achieves good performance even without fine tuning and admits theoretical analysis. Our theoretical generalization bound for a one layer network lends itself naturally to a heuristic that allows our method to automatically choose per-layer sizes for deep networks. We demonstrate the efficacy of our approach with strong empirical performance on a variety of tasks, models, and datasets $\unicode{x2014}$ from simple one-hidden-layer networks to deep networks on ImageNet.

연구 동기 및 목표

• 피지컬 테이닝 없이 예측 결정, 네트워크 구조를 유지하고 각 레이어의 압축 크기를 자동으로 설정할 수 있는 압축 방법을 개발한다.
• 압축 후에도 높은 모델 충실도를 유지하면서 피지컬 테이닝이 필요 없는 방법을 확보한다.
• 보간 분해를 통해 해석 가능한 보정 메커니즘을 제공함으로써 채널 정리에 대한 이론적 기반을 마련한다.
• 기존 머신러닝 파ip라인과의 호환성과 클래스 간 공정성을 확보함으로써 압축 모델의 실용적 구현을 가능하게 한다.
• 원본 행동의 보존 정도를 평가하기 위해 예측 상관관계를 기반으로 한 새로운 모델 유사도 측정 지표를 도입한다.

제안 방법

• 압축된 채널을 유지된 채널의 선형 조합으로 표현하기 위해 보간 분해(ID)를 사용하여, 보정 정보가 레이어 간 전파될 수 있도록 한다.
• 후행 활성화 출력에 ID를 적용하여, 동시에 채널 선택과 제거를 수행하고, 제거된 뉴런에 대한 보정을 위해 나머지 가중치를 갱신한다.
• 압축된 채널의 정보를 다음 레이어에 융합하는 보간 행렬을 구성함으로써, 레이어 크기를 줄이면서도 네트워크 구조를 유지한다.
• 라벨이 없는 데이터를 사용하여 ID 근사치를 계산함으로써, 라벨 데이터나 피지컬 테이닝에 의존하지 않는다.
• 일차 레이어 네트워크에 대한 이론적 일반화 경계를 유도하여, 자동으로 각 레이어의 압축 크기를 설정하는 히우리스틱을 도출한다.
• 압축 후 원본 모델의 결정이 얼마나 잘 보존되었는지를 정량적으로 평가하기 위해 예측 상관관계 지표를 도입한다.

실험 결과

연구 질문

• RQ1 피지컬 테이닝 없이도 예측 결정을 보존하면서 강건성과 공정성을 확보할 수 있는가?
• RQ2 보간 분해는 딥 네트워크에서 채널 제거를 동시에 정리하고 보정하기 위해 어떻게 활용될 수 있는가?
• RQ3 일반화에 대한 이론적 경계는 딥 아키텍처에서 자동으로 각 레이어의 압축 크기를 설정하는 데 어떻게 기여할 수 있는가?
• RQ4 피지컬 테이닝된 기준 모델과 비교했을 때, 이 방법의 예측 상관관계와 정확도는 어떻게 되는가?
• RQ5 특히 공정성과 일반화 측면에서, 압축 세트에서 일부 클래스가 누락된 경우에도 이 방법은 강건한가?

주요 결과

• 제안된 ID 기반 압축 방법은 CIFAR-10에서 FLOPs를 50%로 압축한 후 원본 모델과 97.3%의 예측 상관관계를 달성하였으며, 피지컬 테이닝 기반 기준 모델(93.2% 상관관계)보다 뚜렷이 뛰어나다.
• ImageNet에서는 10,000개의 압축 세트를 사용하여 압축 후에도 원래의 정확도 68.06%를 유지하며, 압축 세트 크기에 대해 매우 민감하지 않다.
• 압축 세트에서 한 클래스가 제외된 경우에도 각 클래스의 정확도를 유지하며, 예를 들어 CIFAR-10에서 누락된 클래스에 대해 85.2%의 정확도를 확보하였다.
• 일차 레이어 네트워크에 대한 이론적 분석은 ID 기반 보정의 타당성을 뒷받침하며, 자동으로 각 레이어의 압축 크기를 설정하는 데 사용할 수 있는 히우리스틱을 제공한다.
• ID 계산에 필요한 비용(포함하여 ID 계산)은 피지컬 테이닝에 비해 무시할 만큼 작으며, ID 계산에는 단지 1,000개의 데이터 포인트와 최소한의 런타임만 필요하다.
• 모델의 구조를 보존하기 때문에 다른 압축 기법과의 조합이 가능하며, 실용적인 파이프라인 내에서의 조합 가능성을 확보한다.