[논문 리뷰] DARC: Differentiable ARchitecture Compression

Shashank Singh, Ashish Khetan외 1명|arXiv (Cornell University)|2019. 05. 20.

Advanced Neural Network Applications참고 문헌 36인용 수 5

한 줄 요약

DARC는 자원을 많이 소비하는 신경망의 구성 요소를 데이터 기반, 기울기 기반 최적화를 통해 효율적인 대체 요소로 교체하는 것을 학습하는 미분 가능 아키텍처 압축 프레임워크를 제안한다. CIFAR-10에서 정확도 손실 없이 최대 5.64배 빠른 추론 속도와 5.64배 작아진 메모리 사용량을 달성하며, 희박성 유도 정규화와 이론적 일반화 경계를 통해 성능를 유지한다.

ABSTRACT

In many learning situations, resources at inference time are significantly more constrained than resources at training time. This paper studies a general paradigm, called Differentiable ARchitecture Compression (DARC), that combines model compression and architecture search to learn models that are resource-efficient at inference time. Given a resource-intensive base architecture, DARC utilizes the training data to learn which sub-components can be replaced by cheaper alternatives. The high-level technique can be applied to any neural architecture, and we report experiments on state-of-the-art convolutional neural networks for image classification. For a WideResNet with $97.2\%$ accuracy on CIFAR-10, we improve single-sample inference speed by $2.28 imes$ and memory footprint by $5.64 imes$, with no accuracy loss. For a ResNet with $79.15\%$ Top1 accuracy on ImageNet, we improve batch inference speed by $1.29 imes$ and memory footprint by $3.57 imes$ with $1\%$ accuracy loss. We also give theoretical Rademacher complexity bounds in simplified cases, showing how DARC avoids overfitting despite over-parameterization.

연구 동기 및 목표

• 자원 제약이 있는 추론 장치에 고정확도 딥 러닝 모델을 구현하는 데 도전하는 것.
• 절단 및 양자화와 같은 전통적인 모델 압축 기법의 한계를 극복하는 것 — 이러한 기법들은 매개변수 수준의 변화에 국한되며 전체 레이어를 구조적으로 다를 게 구성 요소로 교체할 수 없다.
• 모델 압축과 신경망 아키텍처 탐색을 통합하는 유일한 프레임워크를 개발하여, 데이터 기반으로 네트워크 구성 요소를 더 저렴한 대체 요소로 교체할 수 있도록 하는 것.
• 과도하게 파arameter화된 상태에서도 일반화를 보장하고 과적합을 방지하기 위해, 단순화된 경우에 대해 라데마처 복잡도 경계를 유도하는 것.
• 다양한 목표(예: 속도 대 대비 크기)를 최적화할 경우 서로 다른 효율적인 아키텍처가 도출되며, 이는 정확도-효율성 파레토 경계를 향상시킨다는 것을 입증하는 것.

제안 방법

• DARC는 사전 훈련된 자원 소모가 큰 신경망을 모듈식 구성 요소로 분할하고, 각 구성 요소에 대해 효율적인 후보 구성 요소(예: 딥라이즈-세퍼러블 컨볼루션)의 집합을 정의한다.
• 구성 요소 선택 문제를 희박한 앙상블 학습 문제로 공식화하며, 각 구성 요소의 기여도는 학습 가능한, 미분 가능한 게이트 매개변수에 의해 가중된다.
• 게이트 매개변수에 희박성 유도 정규화 항을 적용하여, 몇몇 효율적인 구성 요소만 선택하도록 유도함으로써 모델 압축을 촉진한다.
• 기울기 기반 최적화를 사용하여 네트워크 가중치와 구성 요소 선택 게이트를 동시에 훈련함으로써, ImageNet과 같은 대규모 데이터셋에서 엔드 투 엔드 훈련을 가능하게 한다.
• 정규화 항은 목표에 맞게 조정되며, 예를 들어 모델 크기를 최소화하거나 처리량을 최대화하는 데 중점을 두어 최종 추론 효율성을 제어할 수 있다.
• 사전 훈련된 기본 모델을 사용하여 가중치를 초기화함으로써, 무작위 아키텍처에서 시작하는 NAS 방법보다 더 빠른 수렴과 향상된 성능를 달성한다.

실험 결과

연구 질문

• RQ1 데이터 기반, 미분 가능한 접근 방식이 전통적인 모델 압축 기법보다 구조적 레이어 교체를 가능하게 하여 성능을 뛰어넘을 수 있는가?
• RQ2 과도하게 파arameter화된 상태에서도 과적합을 방지하면서, 구성 요소 교체를 위한 풍부한 검색 공간을 효과적으로 최적화할 수 있는가?
• RQ3 다양한 추론 목표(예: 속도 대 대비 메모리)를 최적화할 경우, 서로 다른 고성능 아키텍처가 도출되어 정확도-효율성 트레이드오프를 향상시키는가?
• RQ4 특히 희박성 유도 정규화 하에서 DARC 프레임워크에 대해 이론적 일반화 경계를 도출할 수 있는가?
• RQ5 무작위 아키텍처에서 시작하는 NAS 방법에 비해, 사전 훈련된 고정확도 모델에서 시작하는 것이 최종 압축 모델의 성능을 얼마나 향상시키는가?

주요 결과

• CIFAR-10에서 97.2%의 정확도를 달성하는 와이드레즈넷에 대해 DARC는 단일 샘플 추론 속도를 2.28배 향상시키고, 정확도 손실 없이 메모리 사용량을 5.64배 감소시켰다.
• ImageNet에서 Top1 정확도 79.15%를 달성하는 수정된 ResNet50에 대해 DARC는 배치 추론 속도를 1.29배 빠르게 하고, 정확도가 1% 감소한 상태에서 메모리 사용량을 3.57배 감소시켰다.
• 압축된 모델들은 최신 기술 대비 더 나은 정확도-효율성 트레이드오프를 달성하여, CIFAR-10과 ImageNet 양쪽에서 기존의 파레토 경계를 돌파했다.
• 모델 크기를 최적화한 모델들은 처리량을 최적화한 모델들과 구조적으로 다름을 확인하여, '최적화하는 바에 따라 그 결과가 달라진다'는 점을 입증했다.
• 이론적 분석을 통해 단순화된 경우에 대해 라데마처 복잡도 경계를 도출하였으며, DARC가 과도하게 파arameter화된 상태에서도 과적합을 피할 수 있음을 보여주었다.
• ImageNet에서 DARC는 NAS 기반 베이스라인 대비 최소 3% 높은 Top1 정확도를 달성하여, 사전 훈련된 고성능 기본 모델에서 시작하는 것이 성능 향상에 기여한다는 점을 입증했다.