[논문 리뷰] IDK Cascades: Fast Deep Learning by Learning not to Overthink

Xin Wang, Yujia Luo외 4명|arXiv (Cornell University)|2017. 06. 03.

Anomaly Detection Techniques and Applications참고 문헌 19인용 수 30

한 줄 요약

이 논문은 깊이 학습 추론을 가속화하기 위해 경량의 '모르겠다'(IDK) 분류기를 사용하여 쉬운 입력을 빠른 모델로 라우팅하고, 어려운 입력만 더 정확하고 비싼 모델로 승격시키는 IDK 캐스케이드 프레임워크를 제안한다. 엔트로피나 신뢰도 점수를 통한 모델 불확실성 추정과 비용 인식 목표 함수 최적화를 통해, 정확도 손실이 극히 적은 상태에서 추론 비용을 최대 80%까지 감소시켰으며, 인간 개입이 30% 미만인 자율 주행 환경에서 거의 완벽한 정확도를 달성하였다.

ABSTRACT

Advances in deep learning have led to substantial increases in prediction accuracy but have been accompanied by increases in the cost of rendering predictions. We conjecture that fora majority of real-world inputs, the recent advances in deep learning have created models that effectively "overthink" on simple inputs. In this paper, we revisit the classic question of building model cascades that primarily leverage class asymmetry to reduce cost. We introduce the "I Don't Know"(IDK) prediction cascades framework, a general framework to systematically compose a set of pre-trained models to accelerate inference without a loss in prediction accuracy. We propose two search based methods for constructing cascades as well as a new cost-aware objective within this framework. The proposed IDK cascade framework can be easily adopted in the existing model serving systems without additional model re-training. We evaluate the proposed techniques on a range of benchmarks to demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 높은 정확도를 보이지만, 간단한 입력에 대해서는 과도하게 분석되는 깊이 학습 모델의 증가하는 추론 비용 문제를 해결하기 위해.
• 기본 모델의 재학습이나 아키텍처 수정 없이도 효율적인 모델 캐스케이드를 가능하게 하는 프레임워크를 개발하기 위해.
• 사전 훈련된 모델과 최소한의 추가 계산만을 사용하여 쉬운 입력과 어려운 입력을 비용 효율적으로 구분할 수 있는 방법을 찾기 위해.
• 새로운 비용 인식 목표 함수를 통해 예측 정확도와 계산 비용의 균형을 맞추기 위해 IDK 분류기 학습 중에 전체 비용을 최소화하는 캐스케이드 구조를 최적화하기 위해.

제안 방법

• 각 단계에서 '모르겠다'(IDK)를 예측할 수 있는 사전 훈련된 모델을 연결하는 캐스케이드로 구성하는 일반적인 프레임워크인 IDK 캐스케이드를 도입한다.
• 예측 신뢰도(캐스케이드 by probability) 또는 클래스 확률의 엔트로피(캐스케이드 by entropy)를 사용하여 불확실성을 추정하는 경량의 아키텍처 독립형 IDK 분류기를 활용한다.
• 전체 비용을 최소화하면서 정확도를 유지하기 위해, 각 캐스케이드 단계에서 IDK 예측을 위한 최적의 불확실성 임계값을 탐색 기반으로 결정한다.
• 기본 모델의 실제 FLOPs를 반영하여 정확도와 계산 비용의 균형을 잘 맞추는 데 기여하는 비용 인식 목표 함수를 제안한다.
• 엣지 기기에는 빠른 모델을, 클라우드에는 비싼 모델을 두어 필요할 때만 트리거되는 방식으로 엣지-클라우드 아키텍처에 적합하게 구현한다.
• 최종 모델로 인간 전문가를 사용하는 인간-중개자 기반 배포를 가능하게 하여, 최소한의 간섭으로 거의 완벽한 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처에 접근하거나 재학습하지 않고도, 실제 깊이 학습 워크로드에서 쉬운 입력을 효과적으로 식별할 수 있는가?
• RQ2 다양한 입력에 걸쳐 높은 예측 정확도를 유지하면서도 계산 비용을 최소화할 수 있는 캐스케이드 시스템을 어떻게 설계할 수 있는가?
• RQ3 입력을 모델 캐스케이드로 라우팅하는 데 가장 적합한 불확실성 측정 기준은 신뢰도 점수인지, 엔트로피인지?
• RQ4 정확도 최적화 외에 실제 FLOPs를 목표 함수에 통합함으로써, 정확도 중심 최적화에 비해 모델 캐스케이드의 효율성이 어떻게 향상되는가?
• RQ5 IDK 캐스케이드 프레임워크는 자율 주행과 같은 실제 시스템에 최소한의 수정으로 배포 가능하고 높은 성능을 발휘할 수 있는가?

주요 결과

• IDK 캐스케이드 프레임워크는 기준 모델 대비 비용이 더 비싼 모델의 호출 횟수를 최대 80%까지 줄였으며, 정확도는 유지하거나 약간 향상시켰다.
• ImageNet 데이터셋에서 이 방법은 표준 추론 대비 추론 비용을 70% 감소시키면서도 95%의 top-1 정확도를 유지하였다.
• Berkeley DeepDrive 데이터셋을 사용한 자율 주행 작업에서는 95.1%의 정확도를 달성했으며, 인간 개입 비율은 28.88%에 그쳤다. 이는 수동 레이블링 비용을 크게 줄였다.
• 정확도 중심 목표 함수에 비해 비용 인식 목표 함수가 정확도와 계산 비용의 균형을 더 잘 맞춰, 특히 고처리량 환경에서 뛰어난 성능을 보였다.
• 특히 모델 확률이 잘 校정되어 있는 경우, 엔트로피 기반 캐스케이드가 확률 기반 캐스케이드보다 하드 예제를 더 잘 식별하는 경향을 보였다.
• 기존 모델 서빙 시스템에 최소한의 수정으로 배포 가능하며, 자연스럽게 엣지-클라우드 배포 패턴과도 잘 맞는다.