[논문 리뷰] Early-exit Convolutional Neural Networks
본 논문은 학습 가능한 exit 블록과 신뢰도 분기를 추가하여 추론 비용을 조정하는 조기 종료 CNN(EENets)을 제시하며, 표준 ResNets와 유사한 정확도를 달성하면서 FLOPs를 줄인다(예: CIFAR10에서 20%, SVHN에서 30%, Tiny-ImageNet에서 42%).
This paper is aimed at developing a method that reduces the computational cost of convolutional neural networks (CNN) during inference. Conventionally, the input data pass through a fixed neural network architecture. However, easy examples can be classified at early stages of processing and conventional networks do not take this into account. In this paper, we introduce 'Early-exit CNNs', EENets for short, which adapt their computational cost based on the input by stopping the inference process at certain exit locations. In EENets, there are a number of exit blocks each of which consists of a confidence branch and a softmax branch. The confidence branch computes the confidence score of exiting (i.e. stopping the inference process) at that location; while the softmax branch outputs a classification probability vector. Both branches are learnable and their parameters are separate. During training of EENets, in addition to the classical classification loss, the computational cost of inference is taken into account as well. As a result, the network adapts its many confidence branches to the inputs so that less computation is spent for easy examples. Inference works as in conventional feed-forward networks, however, when the output of a confidence branch is larger than a certain threshold, the inference stops for that specific example. The idea of EENets is applicable to available CNN architectures such as ResNets. Through comprehensive experiments on MNIST, SVHN, CIFAR10 and Tiny-ImageNet datasets, we show that early-exit (EE) ResNets achieve similar accuracy with their non-EE versions while reducing the computational cost to 20% of the original. Code is available at https://github.com/eksuas/eenets.pytorch
연구 동기 및 목표
- 입력의 난이도에 따라 조기 종료를 가능하게 하여 CNN 추론 비용을 줄이는 것을 목표로 한다.
- 별도의 신뢰도 및 분류 가지를 갖는 다수의 exit 블록을 도입한다.
- 정확도와 계산 비용을 함께 최적화하는 학습 손실을 개발한다.
- ResNet 아키텍처와의 호환성을 보여주고 표준 데이터셋에서 비용-정확도 트레이드오프를 평가한다.
제안 방법
- 선택된 네트워크 위치에 조기 종료 블록(Plain, Pool, Bnpool)을 추가하여 EENets를 만든다.
- 각 exit 블록은 신뢰도 분기(sigmoid)와 소프트맥스 분류 분기를 가지며, 추론 중 신뢰도가 임계값을 초과하면 종료를 유도한다(T=0.5).
- Pool/Bnpool 종료에서 전역 평균 풀링을 사용하여 피처 맵 크기와 계산량을 줄인다.
- 공유 손실 L = L_MC + lambda * L_Cost를 사용하여 L_v1 및 L_v2의 두 가지 변형을 논의하고, dead-exit 문제를 피하기 위해 L_v2를 선호한다.
- 계층 간 계산 예산을 제어하기 위해 Pareto, Golden Ratio, Fine, Linear, Quadratic 스킴으로 exit blocks를 분배한다.
- 추가 하이퍼파라미터나 무종료 페널티 없이 학습 가능한 신뢰도 점수로 단일 스테이지 학습이 가능하다는 점을 보여준다.
실험 결과
연구 질문
- RQ1EENets가 실제로 다양한 exit 위치에서 종료되며 입력당 exit 선택에 차이가 존재하는가?
- RQ2EE가 아닌 ResNet에 비해 계산 비용을 줄이면서 경쟁력 있는 정확도를 유지하는가?
- RQ3어떤 exit-block 유형(Plain, Pool, Bnpool)이 더 나은 성능을 발휘하는가?
- RQ4exit block의 분배 전략이 데이터셋 전반의 정확도와 비용에 어떤 영향을 미치는가?
주요 결과
- EENets는 계산량을 감소시키면서 비 EE ResNet에 비해 비슷한 정확도를 달성하며, 예를 들어 CIFAR10에서 20%, SVHN에서 30%, Tiny-ImageNet에서 42%의 상대 FLOPs를 달성한다.
- MNIST에 대해 MNIST- optimized EENet-8에서 명시적 exit-block 분포가 선택적 조기 종료와 전반적으로 경쟁력 있는 정확도(예: 0.82 상대 비용으로 96.55% 등)를 보인다.
- 학습 가능한 신뢰도 분기가 dead-unit 문제를 피하도록 하며 단일 스테이지 손실로 정확도와 비용의 균형을 맞춘다.
- 실험에서 전역 평균 풀링 종료(Pool/Bnpool)가 Plain 종료보다 정확도-비용 트레이드오프에서 더 나은 경향을 보인다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.