[논문 리뷰] Deep $k$-Means: Re-Training and Parameter Sharing with Harder Cluster Assignments for Compressing Deep Convolutions

Junru Wu, Yue Wang외 4명|arXiv (Cornell University)|2018. 06. 24.

Advanced Neural Network Applications참고 문헌 32인용 수 84

한 줄 요약

논문은 재훈련 중 선명한(하드) 클러스터 할당을 촉진하기 위한 스펙트럴하게 이완된 k-means 정규화와 컨볼루션 가중치의 행 기반 파라미터 공유 전략을 제시하여 에너지 인식 평가를 고려한 CNN의 효과적 압축을 가능하게 한다.

ABSTRACT

The current trend of pushing CNNs deeper with convolutions has created a pressing demand to achieve higher compression gains on CNNs where convolutions dominate the computation and parameter amount (e.g., GoogLeNet, ResNet and Wide ResNet). Further, the high energy consumption of convolutions limits its deployment on mobile devices. To this end, we proposed a simple yet effective scheme for compressing convolutions though applying k-means clustering on the weights, compression is achieved through weight-sharing, by only recording $K$ cluster centers and weight assignment indexes. We then introduced a novel spectrally relaxed $k$-means regularization, which tends to make hard assignments of convolutional layer weights to $K$ learned cluster centers during re-training. We additionally propose an improved set of metrics to estimate energy consumption of CNN hardware implementations, whose estimation results are verified to be consistent with previously proposed energy estimation tool extrapolated from actual hardware measurements. We finally evaluated Deep $k$-Means across several CNN models in terms of both compression ratio and energy consumption reduction, observing promising results without incurring accuracy loss. The code is available at https://github.com/Sandbox3aster/Deep-K-Means

연구 동기 및 목표

• 현대 CNN에서 매개변수와 에너지 소비의 지배적 비중으로 인해 합성곱 계층을 압축해야 할 필요성을 동기화한다.
• 후속 공유를 위한 클러스터링된 가중치 구조를 촉진하는 정규화 기반 재학습 프레임워크를 개발한다.
• 에너지 효율적인 하드웨어 데이터 흐름에 맞춘 행 기반 k-means 파라미터 공유 방식을 제안한다.
• 전통적 압축 비율을 넘어 CNN 에너지 소비를 더 잘 추정하기 위한 에너지 인식 메트릭을 도입한다.

제안 방법

• 합성곱 층을 W ∈ R^{s x N}로 재구성하고 N개의 열을 K개의 중심으로 클러스터링하기 위해 k-means를 적용하여 파라미터 공유를 형식화한다.
• 훈련 목표와 클러스터 형성 보조 변수 F를 결합하는 스펙트럴하게 이완된 k-means 정규화 항을 도입한다. E(W) + (lambda/2)[Tr(W^T W) - Tr(F^T W^T W F)], F^T F = I.
• W를 SGD로 ∇E(W) + lambda W(I - F F^T)로 업데이트하고 F는 W의 k-truncated SVD를 사용해 업데이트한다.
• 최종 파라미터 공유를 위해 행 기반 k-means를 적용하여 K 중심과 가중치 할당 인덱스를 얻고, 가중치 공유를 통한 압축을 가능하게 한다.
• 계산 비용(FAs), 가중치 및 활성화 표현 비용, 데이터 이동 고려 등을 포함하여 CNN 에너지 소비를 추정하기 위한 에너지 인식 메트릭을 도입한다.
• GoogleNet/ImageNet 스펙트럼을 포함한 다수의 베이스라인과 CR 및 에너지 메트릭 전반에 걸쳐 Deep k-Means를 비교하고 우호적인 트레이드오프를 시연한다.

실험 결과

연구 질문

• RQ1 스펙트럴하게 이완된 k-means 정규화가 재학습 중 컨볼루션 가중치를 하드 클러스터 할당으로 유도할 수 있는가?
• RQ2 컨볼루션 가중치의 행 기반 k-means 파라미터 공유가 최소한의 정확도 손실로 더 높은 압축 비율을 달성하는가?
• RQ3 제안된 에너지 인식 메트릭이 CNN 아키텍처 전반의 하드웨어 에너지 소비를 효과적으로 대리하는가?
• RQ4 표준 모델(예: GoogLeNet, Wide ResNet)에서 벤치마크된 최첨단 컨볼루션 압축 방법과의 비교 및 에너지 인식 평가에서 Deep k-Means의 성능은 어떠한가?

주요 결과

• Deep k-Means는 동일한 압축 비율에서 여러 베이스라인보다 일관되게 더 높은 정확도를 달성한다.
• 스펙트랄하게 이완된 정규화는 재학습 중 거의 하드 클러스터 할당으로 유도하여 이후 가중치 공유를 돕는다.
• 행 기반 k-means 파라미터 공유는 에너지 인식 특성이 우수한 효과적인 컨볼루션 층 압축을 가능하게 한다.
• 에너지 인식 메트릭이 하드웨어 외삽 추정치와 강한 상관관계를 보이며(AlexNet에서 R^2 최대 0.9931, GoogLeNet_v1에서 0.9675).
• GoogleNet과 같은 대형 모델에서 낮은 CR(CR ≤ 3)에서의 압축은 거의 손실 없이 가능하며, 더 높은 CR에서의 정확도 영향은 작다.