[논문 리뷰] Channel Gating Neural Networks

Weizhe Hua, Yuan Zhou외 3명|arXiv (Cornell University)|2018. 05. 29.

Neural Networks and Applications참고 문헌 31인용 수 98

한 줄 요약

채널 게이팅은 CNN에 대해 기본 경로와 조건부 경로를 계층별로 사용하여 덜 정보량이 많은 입력 채널의 계산을 건너뛰는 동적, 세밀한 가지치기 메커니즘을 도입한다. 이는 상당한 FLOP 감소를 달성하고 정확도 손실은 최소화하며 하드웨어 친화적인 구현을 가능하게 한다.

ABSTRACT

This paper introduces channel gating, a dynamic, fine-grained, and hardware-efficient pruning scheme to reduce the computation cost for convolutional neural networks (CNNs). Channel gating identifies regions in the features that contribute less to the classification result, and skips the computation on a subset of the input channels for these ineffective regions. Unlike static network pruning, channel gating optimizes CNN inference at run-time by exploiting input-specific characteristics, which allows substantially reducing the compute cost with almost no accuracy loss. We experimentally show that applying channel gating in state-of-the-art networks achieves 2.7-8.0$ imes$ reduction in floating-point operations (FLOPs) and 2.0-4.4$ imes$ reduction in off-chip memory accesses with a minimal accuracy loss on CIFAR-10. Combining our method with knowledge distillation reduces the compute cost of ResNet-18 by 2.6$ imes$ without accuracy drop on ImageNet. We further demonstrate that channel gating can be realized in hardware efficiently. Our approach exhibits sparsity patterns that are well-suited to dense systolic arrays with minimal additional hardware. We have designed an accelerator for channel gating networks, which can be implemented using either FPGAs or ASICs. Running a quantized ResNet-18 model for ImageNet, our accelerator achieves an encouraging speedup of 2.4$ imes$ on average, with a theoretical FLOP reduction of 2.8$ imes$.

연구 동기 및 목표

• CNN 추론 비용을 줄이기 위한 동적이고 미세한 가지치기의 동기 부여와 정량화를 제시한다.
• 활성화별 게이팅 정책을 한 번의 패스에서 엔드투엔드로 학습하는 CGNet을 제안한다.
• 편향된 가중치 업데이트를 방지하고 정확도를 유지하기 위해 채널 그룹화 도입.
• CGNet으로 하드웨어 친화성 및 가속기에서의 잠재적 속도향상을 입증한다.
• KD를 포함한 아키텍처 설계 공간과 훈련 기법을 탐구한다.

제안 방법

• CNN 계층 입력을 기본 경로(base x_p)와 잔여 경로(remainder x_r)로 나누고 대응하는 가중치(W_p, W_r)를 할당한다.
• x_p와 W_p를 이용해 부분 합을 계산하고, 각 출력 활성화에 대해 조건부 경로를 활성화할지 결정하는 게이트 s를 사용한다.
• 게이트 함수는 출력 채널별로 학습 가능한 임계값 Δ와 활성화에 특화된 형태(예: ReLU)를 이용해 활성화를 기본 경로 또는 조건부 경로로 보낸다.
• 채널 그룹화를 사용해 채널 선택의 편향을 방지하고 가중치 간의 동일한 업데이트 빈도를 보장하며, 선택적으로 채널 셔플을 적용해 그룹 간 정보 흐름을 개선한다.
• 연분화 가능한 게이트 근사치, 희소성 유도(대상 임계값 T), 그리고 선택적 지식 증류(KD)로 엔드투엔드로 CGNet을 학습한다.
• 게이팅을 채널 단위 게이트로 확장해 가중치 메모리 접근을 줄이고, 추론 효율성을 위해 배치 정규화를 게이트와 결합한다.

실험 결과

연구 질문

• RQ1 다양한 CNN 아키텍처에서 채널 게이팅이 정적 가지치기보다 더 높은 FLOP 감소를 달성하면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 출력 채널별 게이팅과 학습 가능한 임계값이 런타임에 비효과적 활성화를 효과적으로 식별하고 건너뛸 수 있는가?
• RQ3 채널 그룹화가 학습 안정성와 정확도에 어떤 영향을 미치며 가중치 업데이트의 편향을 없앨 수 있는가?
• RQ4 채널 게이팅의 기억 및 하드웨어에 대한 함의는 무엇이며 밀집형시스톨릭-유사 가속기에서 효율적으로 구현될 수 있는가?
• RQ5 CGNets에서 동일하거나 더 높은 FLOP 감소에서 지식 증류가 정확도를 더 향상시키는가?

주요 결과

• CGNets는 CIFAR-10에서 ResNet-18, VGG, 이진화된 VGG, MobileNet 변형에 대해 상당한 정확도 손실 없이 계산을 2.7–8.0× 감소시킨다.
• 채널 게이팅은 CIFAR-10 실험에서 오프칩 메모리 접근도 2.0–4.4× 감소시킨다.
• KD를 적용하면 ImageNet의 ResNet-18은 정확도 손실 없이 2.6×의 계산 감소를 달성하고 일부 설정에서 정확도가 향상된다.
• 하드웨어 평가에서 CGNet 가속기가 기준 대비 평균 2.4×의 속도향상을 달성하고 이론적으로 2.8×의 FLOP 감소를 제공하며 CPU 및 GPU 기준 대비 에너지 효율이 크게 향상된다.
• 채널 그룹화는 가중치 업데이트의 편향을 줄이고 채널 셔플과 결합될 때 그룹 간 정보 흐름과 정확도를 향상시킨다.
• 채널 단위 게이팅은 가중치 접근을 추가로 줄여 메모리 트래픽을 최대 4.4× 감소시키고도 비교적 작은 정확도 영향을 준다.