[논문 리뷰] SkipNet: Learning Dynamic Routing in Convolutional Networks

Xin Wang, Fisher Yu외 3명|arXiv (Cornell University)|2017. 11. 26.

Visual Attention and Saliency Detection참고 문헌 4인용 수 46

한 줄 요약

SkipNet는 지도 학습 전훈과 강화 학습을 조합한 하이브리드 학습 방식을 통해 입력별로 부득이한 레이어를 건너뛰는 것을 학습하는 동적 컨볼루션 네트워크를 제안한다. 게이팅 메커니즘을 적용해 잔차 블록을 선택적으로 건너뛰면서, CIFAR-10, CIFAR-100, SVHN 및 ImageNet에서 전체 모델의 정확도를 유지하면서 추론 계산량을 30–90% 감소시킨다. 이는 정적 압축 기법과 이전의 동적 네트워크 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

While deeper convolutional networks are needed to achieve maximum accuracy in visual perception tasks, for many inputs shallower networks are sufficient. We exploit this observation by learning to skip convolutional layers on a per-input basis. We introduce SkipNet, a modified residual network, that uses a gating network to selectively skip convolutional blocks based on the activations of the previous layer. We formulate the dynamic skipping problem in the context of sequential decision making and propose a hybrid learning algorithm that combines supervised learning and reinforcement learning to address the challenges of non-differentiable skipping decisions. We show SkipNet reduces computation by 30-90% while preserving the accuracy of the original model on four benchmark datasets and outperforms the state-of-the-art dynamic networks and static compression methods. We also qualitatively evaluate the gating policy to reveal a relationship between image scale and saliency and the number of layers skipped.

연구 동기 및 목표

• 정확도를 훼손하지 않으면서 딥 컨볼루션 네트워크의 추론 계산량을 줄이는 것.
• 동적 신경망에서 비가역적이고 이산적인 레이어 건너뛰기 결정의 과제를 해결하는 것.
• 개별 컨볼루션 블록을 언제 건너뛸지를 학습함으로써 입력 기반의 적응적 깊이를 가능하게 하는 방법을 개발하는 것.
• 정확도-계산량 트레이드오프 측면에서 정적 모델 압축 기법과 기존의 동적 추론 방법을 모두 능가하는 것.

제안 방법

• 각 블록 그룹에 학습 가능한 게이팅 모듈을 부착한 수정된 잔차 신경망인 SkipNet을 도입한다.
• 두 단계의 훈련을 수행한다: 첫 번째 단계에서는 재파arameterization를 통한 소프트 리프레젠테이션을 통해 이진 건너뛰기 결정을 부드럽게 하여 미분 가능한 훈련을 수행하고, 교차 엔트로피 손실을 사용한다.
• 두 번째 단계에서는 REINFORCE 기반 강화 학습을 적용해 소프트 리프레젠테이션 없이 하드 이진 건너뛰기 정책을 정밀하게 조정한다.
• 각 게이팅 모듈은 이전 레이어의 활성화를 입력으로 받아 다음 블록을 건너뛸 확률을 출력한다.
• 하이브리드 접근 방식은 강화 학습 미세조정 동안 건너뛰기 정책과 예측 오차를 동시에 최적화함으로써 훈련의 안정성을 높인다.
• 이전 레이어 출력에 조건부로 결정되는 순차적 의사결정 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 입력 별로 개별 컨볼루션 레이어를 건너뛰어 계산량을 줄이면서도 정확도를 유지할 수 있는가?
• RQ2 비가역적이고 이산적인 건너뛰기 결정은 딥 러닝 프레임워크에서 효과적으로 학습될 수 있는가?
• RQ3 지도 학습 전훈과 강화 학습을 융합하면 순수한 강화 학습보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ4 입력 복잡도(예: 이미지 스케일 및 주목성)와 건너뛴 레이어 수 사이의 관계는 어떠한가?
• RQ5 다양한 네트워크 블록과 데이터셋 간에 동적 건너뛰기 행동은 어떻게 달라지는가?

주요 결과

• SkipNet는 CIFAR-10에서 추론 계산량을 50% 감소시키고, CIFAR-100에서는 37%, SVHN에서는 86%, ImageNet에서는 30% 감소시키면서도 전체 모델의 정확도를 유지한다.
• 하이브리드 훈련 방법(HRL+SP)은 순수한 강화 학습보다 유의미하게 높은 정확도를 달성했으며, 순수한 강화 학습은 유의미한 정책에 수렴하지 못했다.
• 유사한 FLOP 예산 하에서 '하드' 게이팅이 '소프트' 게이팅보다 성능이 뛰어나, 소프트 게이팅의 훈련-추론 불일치가 성능 저하를 유발한다는 것을 시사한다.
• 더 쉬운 이미지(예: 트럭)는 더 적극적으로 건너뛰는 경향이 있으며, 쉬운 클래스의 경우 건너뛰기 비율이 오른쪽으로 치우쳐 있고, 어려운 클래스의 경우 왼쪽으로 기울어져 있다.
• ResNet의 블록 그룹 2는 그룹 1과 3보다 덜 건너뛰며, 이는 특징 추출에서 더 중요한 역할을 한다는 것을 시사한다.
• 학습된 건너뛰기 정책은 이미지 스케일/주목성과 건너뛴 레이어 수 사이에 명확한 상관관계를 보이며, 더 복잡한 이미지는 더 깊은 경로를 사용한다.