[논문 리뷰] Adaptive Neural Networks for Efficient Inference

Tolga Bolukbasi, Joseph Wang외 2명|arXiv (Cornell University)|2017. 02. 25.

Machine Learning and Data Classification참고 문헌 4인용 수 134

한 줄 요약

본 논문은 적응형 초기 종료와 적응형 네트워크 선택을 제안하여 테스트 시간 계산을 최소한의 정확도 손실로 줄이고, 쉬운 케이스를 더 저렴한 모델이나 초기 종료를 통해 처리함으로써 ImageNet에서 최대 2.8배 속도 향상을 달성한다.

ABSTRACT

We present an approach to adaptively utilize deep neural networks in order to reduce the evaluation time on new examples without loss of accuracy. Rather than attempting to redesign or approximate existing networks, we propose two schemes that adaptively utilize networks. We first pose an adaptive network evaluation scheme, where we learn a system to adaptively choose the components of a deep network to be evaluated for each example. By allowing examples correctly classified using early layers of the system to exit, we avoid the computational time associated with full evaluation of the network. We extend this to learn a network selection system that adaptively selects the network to be evaluated for each example. We show that computational time can be dramatically reduced by exploiting the fact that many examples can be correctly classified using relatively efficient networks and that complex, computationally costly networks are only necessary for a small fraction of examples. We pose a global objective for learning an adaptive early exit or network selection policy and solve it by reducing the policy learning problem to a layer-by-layer weighted binary classification problem. Empirically, these approaches yield dramatic reductions in computational cost, with up to a 2.8x speedup on state-of-the-art networks from the ImageNet image recognition challenge with minimal (<1%) loss of top5 accuracy.

연구 동기 및 목표

• 정확도를 손상시키지 않으면서 심층 신경망의 테스트 시간 비용을 줄이는 동기를 부여한다.
• 두 가지 적응형 스킴을 개발한다: (1) 네트워크 내부의 조기 종료, (2) 서로 다른 비용을 가진 다수 네트워크 간의 적응형 선택.
• 글로벌 목표를 시간-정확도 트레이드오프로 표현하고 정책 학습을 계층별 가중 이진 분류로 축소한다.
• 프리트레인된 모델을 사용하여 ImageNet에서 상당한 런타임 절감을 시연하고, 상위 5개 정확도(top-5)를 촘촘한 여유 내에서 보존한다.

제안 방법

• 각 계층 뒤에 현재 예측으로 종료할지 아니면 다음 계층으로 진행할지를 결정하는 적응형 조기 종료 정책을 정의한다.
• 글로벌 목표를 시간-정확도 트레이드오프로 표현하고 정책 학습을 계층별 가중 이진 분류로 축소한다.
• 상향식(exit) 함수의 시퀀스를 학습하고, 상수형 또는 선형 정책 계열을 허용하며 엔트로피 기반 신뢰도 특징을 포함한다.
• 연쇄/그래프로 배치된 다수의 프리트레인 모델에 걸친 적응형 네트워크 선택으로 확장하고, 더 비싼 네트워크로 진전할지 여부를 결정하는 정책을 포함한다.
• 시간 제약과 정확도 손실 페널티를 고려한 중요도 가중 학습 형태를 사용하여 종료/선택 결정을 최적화한다.

실험 결과

연구 질문

• RQ1 중간 계층의 조기 종료가 추론 시간을 줄이면서 정확도를 유지할 수 있는가?
• RQ2 여러 모델에 걸친 네트워크 선택 전략이 단일 모델의 조기 종료보다 더 큰 속도향상을 가져오는가?
• RQ3 적응 정책이 실제 인스턴스 난이도와 오류를 아는 오라클에 얼마나 근접할 수 있는가?
• RQ4 표준 아키텍처에 적응 정책을 적용할 때 ImageNet 스타일 객체 인식에 실질적 영향은 무엇인가?

주요 결과

• 적응형 조기 종료는 GoogLeNet과 ResNet-50의 속도를 20-30% 증가시키며 최소한의 top-5 정확도 손실을 보인다.
• 다중 모델로 구성된 네트워크 카스케이스가 1% top-5 정확도 손실에서 최대 2.8배의 속도 향상을 달성하고, 정확도 변화 없이 1.9배를 달성한다.
• 엔트로피 기반 신뢰도 특징으로 학습된 정책은 다양한 예산 설정에서 오라클에 근접한 성능을 보인다.
• 이 접근법은 엣지/클라우드/포그 컴퓨팅 배치와 호환되며 기저 네트워크 아키텍처를 수정할 필요가 없다.