[논문 리뷰] Energy-efficient Amortized Inference with Cascaded Deep Classifiers

Jiaqi Guan, Yang Liu외 2명|arXiv (Cornell University)|2017. 10. 10.

Advanced Neural Network Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 각 입력 이미지에 대해 가장 작은 충분한 신경망을 동적으로 선택하는 계단식 딥 분류기 프레임워크를 제안한다. 이는 정확도와 FLOPs 비용을 균형 잡기 위해 REINFORCE로 훈련된 정책을 사용한다. CIFAR-10/100에서는 추론 비용을 20% 미만으로 줄였고, ImageNet32x32에서는 66%로 줄였으며, 표준 ResNet과 비교해 높거나 유사한 정확도를 달성한다.

ABSTRACT

Deep neural networks have been remarkable successful in various AI tasks but often cast high computation and energy cost for energy-constrained applications such as mobile sensing. We address this problem by proposing a novel framework that optimizes the prediction accuracy and energy cost simultaneously, thus enabling effective cost-accuracy trade-off at test time. In our framework, each data instance is pushed into a cascade of deep neural networks with increasing sizes, and a selection module is used to sequentially determine when a sufficiently accurate classifier can be used for this data instance. The cascade of neural networks and the selection module are jointly trained in an end-to-end fashion by the REINFORCE algorithm to optimize a trade-off between the computational cost and the predictive accuracy. Our method is able to simultaneously improve the accuracy and efficiency by learning to assign easy instances to fast yet sufficiently accurate classifiers to save computation and energy cost, while assigning harder instances to deeper and more powerful classifiers to ensure satisfiable accuracy. With extensive experiments on several image classification datasets using cascaded ResNet classifiers, we demonstrate that our method outperforms the standard well-trained ResNets in accuracy but only requires less than 20% and 50% FLOPs cost on the CIFAR-10/100 datasets and 66% on the ImageNet dataset, respectively.

연구 동기 및 목표

• 모바일 및 엣지 애플리케이션에서 딥 네트워크의 높은 에너지 소비와 계산 비용을 해결한다.
• 성능을 희생시키지 않고 예측 정확도와 테스트 시 계산 비용을 동시에 최적화한다.
• 더 쉬운 샘플은 작은 네트워크에, 더 어려운 샘플은 더 깊은 모델에 할당하는 동적이고 인스턴스 기반 모델 선택을 가능하게 한다.
• 계단식 분류기와 선택 정책을 함께 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 학습된 정지 정책을 통해 FLOPs를 최소화하면서도 높은 정확도를 유지하는 비용 회수 효율성을 달성한다.

제안 방법

• 증가하는 용량과 정확도를 가진 점진적으로 깊어지는 ResNet 분류기의 계단식 구조를 구성한다.
• 정책 네트워크를 REINFORCE 강화 학습 알고리즘을 사용해 훈련하여 언제 정지를 하고 예측을 출력할지를 결정한다.
• 훈련 목표를 예측 정확도(보상)와 기대 FLOPs 비용(제약 조건) 간의 상충 관계로 설정한다.
• 분류기 계단식과 선택 정책을 함께 최적화하여 정확도-비용 트레이드오프를 최적화한다.
• 정확도와 신뢰도 기반으로 정책을 사용해 계단식 내 각 분류기를 순차적으로 평가하고, 정지 조건을 만족할 때까지 진행한다.
• 추론 시 정책을 적용하여 각 입력을 충분히 정확한 예측을 내는 가장 작은 분류기로 할당한다.

실험 결과

연구 질문

• RQ1 학습된 선택 정책을 가진 계단식 딥 네트워크 앙상블은 표준 딥 네트워크보다 더 높은 정확도와 더 낮은 계산 비용을 동시에 달성할 수 있는가?
• RQ2 강화 학습 정책은 계단식 내에서 최소한의 충분한 분류기에 입력을 얼마나 효과적으로 할당할 수 있는가?
• RQ3 제안된 방법은 도전적인 이미지 분류 벤치마크에서 정확도를 유지하거나 향상시키면서 FLOPs를 얼마나 줄일 수 있는가?
• RQ4 데이터셋 간 이미지 난이도 분포(예: CIFAR 대비 ImageNet)는 선택 정책과 계산 절감 효과에 어떤 영향을 미치는가?
• RQ5 계단식과 정책을 함께 훈련하는 것이 고정된 사전 훈련된 분류기를 사용해 정책만 훈련하는 단순 기반 모델보다 더 나은 정확도-비용 트레이드오프를 제공하는가?

주요 결과

• 제안된 모델는 CIFAR-10과 CIFAR-100에서 잘 훈련된 ResNet110과 유사하거나 높은 정확도를 달성하지만, FLOPs는 각각 19.5%와 49.8%로 줄였다.
• ImageNet32x32에서는 가장 큰 정적 ResNet의 top-5 정확도를 재현했지만, FLOPs는 66.22%로 줄였다.
• CIFAR-10과 CIFAR-100에서 50% 이상의 이미지가 가장 작은 분류기에 할당되었으며, 이는 쉽게 분류 가능한 이미지 비율이 높다는 것을 시사한다.
• ImageNet32x32에서도 거의 절반의 이미지가 작은 분류기에 할당되었으며, 이는 복잡한 데이터셋에서도 더 쉬운 샘플을 효과적으로 식별할 수 있음을 보여준다.
• 정확도-비용 트레이드오프에서 공동 훈련 방식이 고정된 분류기와 단지 정책만 훈련하는 단순 기반 모델보다 더 우수한 성능을 보였다. 특히 FLOPs 예산이 낮을수록 두드러졌다.
• 시각적 분석 결과, 정책은 시각적으로 단순한 이미지(예: 꽹, 버섯)를 얕은 분류기에, 복잡한 이미지(예: 도자기 톱니바퀴)는 깊은 모델에 정확히 할당하고 있음을 확인했다.