[논문 리뷰] EBJR: Energy-Based Joint Reasoning for Adaptive Inference

Mohammad Kazem Akbari, Amin Banitalebi-Dehkordi외 1명|arXiv (Cornell University)|2021. 10. 20.

Advanced Neural Network Applications참고 문헌 48인용 수 4

한 줄 요약

EBJR는 에너지 기반의 공동 추론 프레임워크를 제안하여 입력을 경량 학생 모델과 대규모 사전 훈련된 교사 모델 간에 적응적으로 라우팅함으로써 재훈련 없이도 교사 모델에 가까운 정확도를 달성하면서도 지연 시간을 크게 줄인다. 학습 가능한 에너지 함수를 사용해 재훈련 없이도 샘플을 라우팅함으로써 EBJR는 MS-COCO에서 최대 1.8배의 속도 향상을 이룩했으며, 교사 모델의 mAP의 97%를 유지하여 이전의 적응형 추론 방법을 능가한다.

ABSTRACT

State-of-the-art deep learning models have achieved significant performance levels on various benchmarks. However, the excellent performance comes at a cost of inefficient computational cost. Light-weight architectures, on the other hand, achieve moderate accuracies, but at a much more desirable latency. This paper presents a new method of jointly using the large accurate models together with the small fast ones. To this end, we propose an Energy-Based Joint Reasoning (EBJR) framework that adaptively distributes the samples between shallow and deep models to achieve an accuracy close to the deep model, but latency close to the shallow one. Our method is applicable to out-of-the-box pre-trained models as it does not require an architecture change nor re-training. Moreover, it is easy to use and deploy, especially for cloud services. Through a comprehensive set of experiments on different down-stream tasks, we show that our method outperforms strong state-of-the-art approaches with a considerable margin. In addition, we propose specialized EBJR, an extension of our method where we create a smaller specialized side model that performs the target task only partially, but yields an even higher accuracy and faster inference. We verify the strengths of our methods with both theoretical and experimental evaluations.

연구 동기 및 목표

• 딥 러닝에서 추론 지연 시간과 모델 정확도 사이의 상충 관계를 해결하기 위해 경량 모델과 대규모 사전 훈련된 모델 간의 적응형 라우팅을 가능하게 하는 것.
• 기존 모델의 아키텍처 변경이나 재훈련이 필요 없는 방법을 개발하여 즉시 통합 가능한 플러그 앤 플레이 배포를 가능하게 하는 것.
• 입력 복잡도에 따라 최적의 모델 경로를 동적으로 선택함으로써 실세계 응용에서의 효율성을 향상시키는 것.
• 고주파 수업에 집중하는 특수화된 학생 모델을 탐색하여 추론 속도와 정확도를 추가로 향상시키는 것.
• 메모리 오버헤드가 최소한이 되는 유연하고 구현 가능한 솔루션을 제공하여 클라우드 및 엣지 추론에 적합하게 하는 것.

제안 방법

• 이 방법은 각 입력에 대해 점수를 계산하는 에너지 기반 라우팅 모듈을 사용하여, 입력을 빠르고 작은 학생 모델 또는 정확도가 높고 큰 교사 모델로 라우팅할지 결정한다.
• 에너지 함수는 기존의 학생 또는 교사 모델을 미세조정하지 않고도, 소규모 검증 세트를 사용하여 한 번의 校정 단계 동안 학습된다.
• 라우팅 결정은 예측 신뢰도와 계산 비용을 균형 잡는 에너지 함수를 최소화함에 기반한다.
• 이 프레임워크는 어떤 사전 훈련된 학생-교사 쌍과도 호환되어 기존 시스템에 즉시 통합할 수 있다.
• 특수화된 EBJR의 변종이 도입되며, 이 경우 학생 모델은 빈도가 높은 수업에 대해서만 훈련된다.
• 이 방법은 정적 및 동적 라우팅을 모두 지원하며, 라우터는 입력 복잡도에 따라 각 샘플마다 결정을 내린다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 사전 훈련된 학생 모델을 대규모 교사 모델과 효과적으로 조합하여 낮은 지연 시간으로 높은 정확도를 달성할 수 있는가?
• RQ2 입력 복잡도에 따라 가장 적합한 모델으로 입력을 동적으로 라우팅할 수 있는 에너지 기반 라우팅 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 고주파 수업에 집중해 훈련된 특수화된 학생 모델이 실세계 시나리오에서 추론 효율성과 정확도를 향상시키는가?
• RQ4 다양한 후행 작업에서 EBJR는 기존 최고 수준의 적응형 추론 방법과 비교해 지연-정확도 상충 관계에서 어떻게 성능을 내는가?
• RQ5 데이터 분포(예: 일반 수업과 희귀 수업의 비율)가 특수화된 EBJR의 성능에 어떤 영향을 미치는가?

주요 결과

• EBJR는 MS-COCO에서 교사 모델의 mAP의 97%를 달성하면서도 최대 1.8배의 속도 향상을 이룩했으며, 기준 모델인 EfficientDet-D4와 이전의 적응형 방법을 모두 능가했다.
• 동일한 mAP 수준에서 EBJR는 객체 검출 분야에서 주오 등(2017)이 보고한 1.3배의 속도 향상보다 1.8배의 속도 향상을 제공했다.
• 특수화된 EBJR는 입력의 75%가 상위 50개 수업에 속한다고 가정할 경우, 동일한 정확도를 유지하면서 FLOPs를 약 1.5배 감소시켰다.
• 입력의 50% 이상이 상위 50개 수업에 속할 경우, C̄=50인 특수화된 EBJR가 일반 EBJR와 표준 모델을 모두 능가하는 최적의 효율성을 달성했다.
• 이 방법은 기존의 동적 추론 기법들과 수직적 관계를 가지며, RS-Net에 적용했을 때도 아키텍처 변경 없이 성능을 추가로 향상시켰다.
• 메모리 오버헤드는 엣지에서 가능한 한 큰 학생 모델을 배포하고, 어려운 샘플만 클라우드로 라우팅함으로써 관리 가능하게 되었으며, 이는 고정확도를 유지하면서 자원 사용을 최소화하는 데 기여했다.