[논문 리뷰] SGAD: Soft-Guided Adaptively-Dropped Neural Network

Zhisheng Wang, Fangxuan Sun외 3명|arXiv (Cornell University)|2018. 07. 04.

Data Stream Mining Techniques참고 문헌 19인용 수 8

한 줄 요약

이 논문은 입력 샘플의 난이도에 따라 동적으로 잔차 블록을 건너뛰는 소프트 가이드 적응형 드롭 아키텍처(SGAD)를 제안한다. 이는 계산 비용을 줄이는 데 기여한다. 학습 가능한 소프트 가이드라인과 스트레이트스루 추정을 통해 SGAD는 ResNet-32 대비 CIFAR-10에서 77%의 FLOP 감소를 달성하면서 정확도 손실가 1% 미만을 기록한다.

ABSTRACT

Deep neural networks (DNNs) have been proven to have many redundancies. Hence, many efforts have been made to compress DNNs. However, the existing model compression methods treat all the input samples equally while ignoring the fact that the difficulties of various input samples being correctly classified are different. To address this problem, DNNs with adaptive dropping mechanism are well explored in this work. To inform the DNNs how difficult the input samples can be classified, a guideline that contains the information of input samples is introduced to improve the performance. Based on the developed guideline and adaptive dropping mechanism, an innovative soft-guided adaptively-dropped (SGAD) neural network is proposed in this paper. Compared with the 32 layers residual neural networks, the presented SGAD can reduce the FLOPs by 77% with less than 1% drop in accuracy on CIFAR-10.

연구 동기 및 목표

• 모든 입력 샘플을 동일하게 취급하는 기존 모델 압축 방법의 비효율성을 해결하기 위해, 분류 난이도가 상이한 샘플을 고려하지 않는 문제를 해결한다.
• 입력에 따라 적응적인 계산을 가능하게 하여 딥 네트워크 내 계산 중복을 줄인다.
• 정확도를 손상시키지 않고 샘플 난이도에 따라 동적으로 잔차 블록을 건너뛸 수 있는 학습 가능한 메커니즘을 개발한다.
• 이산적인 드롭 결정이 비가역적이므로, 기울기 역전파를 효율적으로 수행할 수 있도록 소프트 가이드 기반의 종단간(end-to-end) 학습 가능한 프레임워크를 도입한다.
• 학습된 드롭 행동을 탐색하고 검증하여, 어려운 샘플에 대해 높은 모델 용량을 유지할 수 있음을 보장한다.

제안 방법

• 각 입력 샘플의 분류 난이도를 정량화하기 위해 소프트 가이드라인을 소프트맥스 레이어 출력에서 유도한다.
• 학습 중에 샘플 난이도를 원하는 블록 드롭 비율과 일치시키기 위해 가변 가능한 매핑 전략을 사용한다.
• 기울기 역전파를 위해 비가역적인 반올림 함수를 근사하기 위해 스트레이트스루 추정기(STE)를 활용한 이진 마스크 생성기 구현한다.
• 소프트 가이드라인과 학습된 임계값에 기반해 블록을 건너뛰는 방식으로, 종단간으로 네트워크를 훈련한다.
• 추론 시 소프트 가이드라인을 제거하여 추가 오버헤드 없이 저지연 추론을 가능하게 한다.
• 잔차 블록 구조를 활용해 효율적인 블록 건너뛰기를 가능하게 하기 위해 잔차 신경망(ResNet) 아키텍처를 기본으로 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 내 개별 입력 샘플의 분류 난이도를 효과적으로 정량화할 수 있는 소프트 가이드 메커니즘이 가능한가?
• RQ2 드롭 결정이 이산적이고 비가역적인 경우, 어떻게 종단간으로 적응형 블록 드롭을 학습할 수 있는가?
• RQ3 입력 기반 계산을 통해 계산 비용을 얼마나 줄일 수 있으며, 이로 인해 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 어느 잔차 블록이 가장 자주 드롭되는가? 이 행동은 모델 용량에 기여하는 정도와 관련이 있는가?
• RQ5 기존의 적응형 추론 기법 대비 FLOP 감소와 정확도 측면에서 본 논문의 방법이 우월한가?

주요 결과

• SGAD는 ResNet-32 대비 CIFAR-10에서 77%의 FLOP 감소를 기록하면서 정확도 손실가 1% 미만이다.
• CIFAR-100에서는 SGAD가 ResNet-32 대비 정확도를 0.47% 향상시키며 FLOPs를 23% 감소시켰다.
• CIFAR-10과 CIFAR-100 양쪽에서 SACT, ACT, SkipNet, BlockDrop보다 정확도와 FLOP 효율성 측면에서 모두 뛰어난 성능을 보였다.
• 기울기 크기가 낮은 블록일수록 더 자주 드롭되며, 이는 덜 중요한 레이어가 우선적으로 제거됨을 시사한다.
• 일부 블록은 훈련 후 모든 입력에 대해 FLOPs가 0이 되어 비활성화되며, 이는 모델 프루닝과 메모리 사용 감소를 가능하게 한다.
• 학습된 드롭 행동은 기울기 크기가 높은 블록을 유지함으로써 모델 용량을 보존하며, 이는 분류 정확도 기여도와 관련이 있다.