[논문 리뷰] BlockDrop: Dynamic Inference Paths in Residual Networks

Zuxuan Wu, Tushar Nagarajan외 5명|arXiv (Cornell University)|2017. 11. 22.

Advanced Neural Network Applications참고 문헌 50인용 수 40

한 줄 요약

BlockDrop는 추론 중에 잔차 블록을 동적으로 건너뛰는 강화학습 기반 방법을 도입하여, 정확도를 유지하면서 계산량을 줄이는 인스턴스별 경로를 학습한다. ImageNet에서 ResNet-101을 사용할 경우 평균 20%의 속도 향상을 달성하며, 상위 1위 정확도는 76.4%를 유지한다. 또한 학습된 정책은 시각적 의미와 인스턴스의 어려움과 관련이 있다.

ABSTRACT

Very deep convolutional neural networks offer excellent recognition results, yet their computational expense limits their impact for many real-world applications. We introduce BlockDrop, an approach that learns to dynamically choose which layers of a deep network to execute during inference so as to best reduce total computation without degrading prediction accuracy. Exploiting the robustness of Residual Networks (ResNets) to layer dropping, our framework selects on-the-fly which residual blocks to evaluate for a given novel image. In particular, given a pretrained ResNet, we train a policy network in an associative reinforcement learning setting for the dual reward of utilizing a minimal number of blocks while preserving recognition accuracy. We conduct extensive experiments on CIFAR and ImageNet. The results provide strong quantitative and qualitative evidence that these learned policies not only accelerate inference but also encode meaningful visual information. Built upon a ResNet-101 model, our method achieves a speedup of 20\% on average, going as high as 36\% for some images, while maintaining the same 76.4\% top-1 accuracy on ImageNet.

연구 동기 및 목표

• 자율 주행 및 모바일 추론과 같은 실시간 응용 분야에서 깊이 있는 ResNets의 높은 계산 비용을 해결하기 위해.
• 입력 이미지의 복잡도에 따라 어떤 잔차 블록을 건너뛸지 학습함으로써 인스턴스별 계산을 가능하게 하기 위해.
• 각 추론에서 실행되는 블록 수를 최소화하면서도 높은 예측 정확도를 유지하기 위해.
• 학습된 블록 건너뛰기 정책이 의미 있는 시각 정보를 포함하고 있으며, 이미지의 어려움과 상관관계가 있는지 탐색하기 위해.

제안 방법

• 입력 이미지에 따라 각 잔차 블록을 버릴 확률을 예측하는 정책 네트워크를 연관 강화학습을 통해 훈련한다.
• 블록 사용을 최소화하면서도 분류 정확도를 유지하는 이중 보상 기반으로 정책 네트워크를 훈련한다.
• 사전 훈련된 ResNet을 정 polit 네트워크와 함께 공동으로 미세조정하여, 동적 블록 건너뛰기와 호환되는 특징 표현을 생성한다.
• 모든 블록 결정은 단일 단계에서 이루어지며, 순차적 추론 오버헤드를 방지하고 깊은 네트워크로의 확장성을 보장한다.
• 결정은 온라인 회귀 최소화 없이 입력 컨텍스트에 기반한 문맥 기반 밴드잇 문제로 공식화된다.
• 훈련 안정성을 높이기 위해 과제 난이도를 점진적으로 증가시키는 커리큘럼 학습을 사용한다.

실험 결과

연구 질문

• RQ1 학습된 정책이 정확도를 떨어뜨리지 않고 ResNet의 잔차 블록을 동적으로 건너뛸 수 있는가?
• RQ2 학습된 블록 건너뛰기 정책이 이미지 콘텐츠와 관련된 의미 있는 시각 패턴을 포함하는가?
• RQ3 사용된 블록 수가 이미지를 분류하는 데 필요한 인지적 어려움과 상관관계가 있는가?
• RQ4 정적 또는 전역 블록 건너뛰기 방식보다 효율성-정확도 트레이드오프를 더 잘 달성할 수 있는가?
• RQ5 단일 단계 결정 메커니즘이 순차적 대안 대비 속도와 오버헤드 측면에서 우수한 성능을 보이는가?

주요 결과

• BlockDrop는 ImageNet 분류에서 ResNet-101을 사용할 경우 평균 20%의 속도 향상을 달성하면서도 상위 1위 정확도 76.4%를 유지한다.
• CIFAR-10에서는 ResNet-110의 블록 중 33%만 사용하여 93.6%의 정확도를 달성하며, 이는 이전 방법들을 능가한다.
• CIFAR-100에서는 블록의 55%만 사용하여 73.7%의 정확도를 달성했으며, 다시 한번 최첨단 기법을 능가한다.
• 학습된 정책은 시각적 의미와 관련이 있다: 서로 다른 시각적 스타일(예: 더러운 오렌지의 단일 클로즈업 대비 오렌지 무더기)에 따라 다른 추론 경로가 사용된다.
• 적은 블록 수가 필요한 이미지는 일반적으로 단일하고 명확하게 보이는 중심에 위치한 객체를 포함하고 있어, 블록 사용이 인스턴스의 어려움을 반영함을 확인한다.
• 순차적 변형은 음성 속도 향상을 보이며, 이는 단일 단계 결정 메커니즘이 효율성 확보에 필수적임을 입증한다.