[논문 리뷰] Alternating Direction Method of Multipliers for Sparse Convolutional Neural Networks

Farkhondeh Kiaee, Christian Gagné외 1명|arXiv (Cornell University)|2016. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 13

한 줄 요약

이 논문은 인식 손실과 희소성 유도 페널티 항을 조합한 손실 함수를 최소화함으로써 사전 훈련된 합성곱 신경망을 희소화하기 위한 ADMM 기반 방법을 제안한다. 희소성과 인식 성능를 번갈아 최적화함으로써, CIFAR-10, CIFAR-100 및 SVHN 벤치마크에서 정확도를 유지하거나 향상시키면서도 최대 50%까지 파라미터를 감소시키는 데 성공한 모델 압축을 달성한다.

ABSTRACT

The storage and computation requirements of Convolutional Neural Networks (CNNs) can be prohibitive for exploiting these models over low-power or embedded devices. This paper reduces the computational complexity of the CNNs by minimizing an objective function, including the recognition loss that is augmented with a sparsity-promoting penalty term. The sparsity structure of the network is identified using the Alternating Direction Method of Multipliers (ADMM), which is widely used in large optimization problems. This method alternates between promoting the sparsity of the network and optimizing the recognition performance, which allows us to exploit the two-part structure of the corresponding objective functions. In particular, we take advantage of the separability of the sparsity-inducing penalty functions to decompose the minimization problem into sub-problems that can be solved sequentially. Applying our method to a variety of state-of-the-art CNN models, our proposed method is able to simplify the original model, generating models with less computation and fewer parameters, while maintaining and often improving generalization performance. Accomplishments on a variety of models strongly verify that our proposed ADMM-based method can be a very useful tool for simplifying and improving deep CNNs.

연구 동기 및 목표

• 저전력 또는 임베디드 장치에 배포하기 위한 깊은 CNN의 계산 및 메모리 비용을 줄이기 위해.
• l0-노름과 같은 미분 불가능한 희소성 페널티를 효과적으로 처리할 수 없는 기존의 구조적 희소성 방법의 한계를 해결하기 위해.
• 사전 훈련된 네트워크의 합성곱 및 완전연결 계층에 대해 효율적이고 반복적인 희소화를 가능하게 하기 위해.
• 희소성 촉진과 인식 성능 최적화를 분리 가능하고 해석적으로 풀 수 있는 프레임워크에 통합하는 방법을 개발하기 위해.
• 고정규화 수준에서 다시 훈련을 시작하지 않고도 융통성 있고 점진적인 희소화 접근법을 제공하기 위해.

제안 방법

• 인식 손실과 희소성 유도 페널티 항을 조합한 증강 라그랑주 함수 최적화 문제로 네트워크 희소화 문제를 수립한다.
• 교차 방향 다중승수 방법(ADMM)을 적용하여 문제를 두 개의 하위문제로 분해한다: 하나는 희소성 촉진을 위한 것이고, 다른 하나는 성능 최적화를 위한 것이다.
• 예를 들어 l1 또는 l0-노름과 같은 희소성 페널티의 분리 가능성 덕분에, 각 ADMM 반복 단계에서 희소성 하위문제를 해석적으로 해결한다.
• 반복적 재가중과 점진적인 정규화를 통해 네트워크 가중치가 희소한 구조로 점차 유도되면서 정확도를 유지한다.
• 합성곱 계층과 완전연결 계층 모두에 이 방법을 적용하여 전체 모델, 특히 파라미터가 많은 완전연결 계층까지도 압축 가능하게 한다.
• 성능 하위문제에는 미분 가능한 최적화(예: SGD)를 사용하고, 희소성 항에 비가역 페널티(예: l0-노름)를 허용한다.

실험 결과

연구 질문

• RQ1 ADMM는 사전 훈련된 CNN에 구조적 희소성을 효과적으로 유도하면서 일반화 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 기존의 구조적 희소성 학습(SSL) 방법과 비교할 때, 제안된 ADMM 기반 방법은 융통성과 계산 효율성 측면에서 어떻게 다른가?
• RQ3 이 방법을 통해 모델 크기와 계산량을 얼마나 줄일 수 있으며, 분류 정확도가 저하되지 않는가?
• RQ4 l0-노름과 같은 비가역적 희소성 페널티는 ADMM를 통해 최적화 프레임워크에 효과적으로 통합될 수 있는가?
• RQ5 정규화 매개변수를 점진적으로 증가시킬 경우, 수렴성과 최종 모델의 희소성에 어떤 영향을 미치는가?

주요 결과

• 제안된 ADMM 기반 방법은 CIFAR-10에서 표준 VGGNet 모델의 파라미터를 34.17% 감소시켰고, 테스트 정확도는 96.97%를 기록하여 원본 성능을 약간 향상시켰다.
• 저랭크 VGGNet 변형에 대해서는 파라미터를 28.6% 감소시켰고, 테스트 정확도는 99%를 달성하여 높은 압축률과 최소한의 정확도 손실을 입증했다.
• SVHN 데이터셋에서, 커스터마이즈된 CNN에 대해 파라미터를 49.7% 감소시켰고, 테스트 정확도는 83.3%를 유지했으며, 저랭크 CNN에선 24.7% 감소시켜 86.3%의 정확도를 확보했다.
• ADMM의 분리 가능성 우수성 덕분에, 공동 최적화 프레임워크에서는 구현이 어려운 비가역적 l0-노름 페널티를 효과적으로 통합할 수 있었다.
• 고정규화 수준에서 전체 재훈련이 필요한 기존의 SSL 방법과 달리, 이 방법은 이전 해를 기반으로 한 온전한 시작(warm-starting)을 통해 계산 비용을 크게 감소시켰다.
• 다양한 아키텍처와 데이터셋에서 일관된 성능 향상 또는 안정성을 보였으며, 일부 경우에서는 과도한 희소화에도 불구하고 정확도가 약간 향상되는 결과를 보였다.