[논문 리뷰] Dynamic Model Selection for Prediction Under a Budget

Nan Feng, Venkatesh Saligrama|arXiv (Cornell University)|2017. 04. 25.

Machine Learning and Data Classification참고 문헌 14인용 수 4

한 줄 요약

이 논문은 입력의 난이도에 따라 저비용 또는 고정확도 모델으로 입력을 라우팅하는 게이팅 함수를 학습하는 바닥에서부터 시작하는 동적 모델 선택 방법을 제안한다. 이는 정확도를 희생시키지 않은 채 총 비용을 최소화한다. 먼저 고정확도 모델을 훈련한 후, 어려운 영역을 제외한 영역에서 정확도가 여전히 충분한 지역에서 저복잡도의 게이팅 및 예측 모델을 학습함으로써, 기준 데이터셋에서 최신 기술 수준의 비용-정확도 트레이드오프를 달성한다.

ABSTRACT

We present a dynamic model selection approach for resource-constrained prediction. Given an input instance at test-time, a gating function identifies a prediction model for the input among a collection of models. Our objective is to minimize overall average cost without sacrificing accuracy. We learn gating and prediction models on fully labeled training data by means of a bottom-up strategy. Our novel bottom-up method is a recursive scheme whereby a high-accuracy complex model is first trained. Then a low-complexity gating and prediction model are subsequently learnt to adaptively approximate the high-accuracy model in regions where low-cost models are capable of making highly accurate predictions. We pose an empirical loss minimization problem with cost constraints to jointly train gating and prediction models. On a number of benchmark datasets our method outperforms state-of-the-art achieving higher accuracy for the same cost.

연구 동기 및 목표

• 의료, 감시, 모바일 분석과 같은 기계학습 응용 분야에서 특징 추출, 센서 사용 또는 원격 계산으로 인한 비용이 발생하는 경우, 테스트 시 예측 비용을 줄이기 위해.
• 입력 복잡도에 따라 모델을 동적으로 선택함으로써 총 비용을 최소화하면서도 높은 예측 정확도를 유지하기 위해.
• 저비용 모델에서 시작하여 기능을 점진적으로 추가하는 상향식 접근 방식의 한계를 해결하기 위해, 이는 고정확도를 유지하지 못할 수 있다.
• 학습된 게이팅 함수를 통해 어려운 입력을 고정확도 레거시 모델로 적절히 오프로드함으로써, 고정확도 모델을 비용 효율적으로 배포할 수 있도록 하기 위해.
• 게이팅 및 예측 모델을 함께 최적화하기 위해 재귀적이고 바닥에서부터 시작하는 전략을 사용함으로써 일반화 성능과 비용 효율성을 향상시키기 위해.

제안 방법

• 바닥에서부터 시작하는 재귀적 훈련 전략: 먼저 고정확도이자 고비용 모델(예: 500개의 XGBoost 트리)을 훈련한 후, 정확도가 여전히 충분한 영역에서 저복잡도 모델을 학습하여 이를 근사한다.
• 비용 제약 조건을 고려한 공동 경험 리스크 최소화: 게이팅 함수와 예측 함수에 대해 별도로 볼록인 마진 기반 목적 함수를 사용한다.
• 확률적 투영(I-투영/M-투영)을 사용한 교차 최소화 및 로지스틱 손실을 적용하여 수렴성을 보장한다.
• 게이팅 함수가 저비용 예측 모델과 동일한 트리 구조를 공유함으로써 중복을 줄이고 비용을 절감하며, 공통된 특징 계산을 가능하게 한다.
• 비용-정확도 트레이드오프의 반복적 개선을 지원하지만, 단일 단계에서도 최신 기술 수준을 초월한다.
• 현지-원격 시스템에서는 경량 모델 $f_1$과 게이팅 함수 $g$를 학습하여 원격 모델 호출 횟수를 최소화하면서도 목표 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 고정확도 모델을 저비용 모델로 근사하는 바닥에서부터 시작하는 접근 방식이 상향식 또는 독립적인 저비용 모델 대비 더 나은 비용-정확도 트레이드오프를 달성할 수 있는가?
• RQ2 비용 제약 조건 하에서 게이팅 및 예측 모델을 공동으로 최적화하여 총 예측 비용을 최소화하면서 정확도를 유지할 수 있는가?
• RQ3 고정확도 모델에서 시작하는 재귀적이고 바닥에서부터 시작하는 훈련 전략이 탐욕적 또는 자르기 기반 대안보다 더 뛰어난 일반화 성능과 비용 효율성을 제공하는가?
• RQ4 현지-원격 아키텍처에서 경량 모델과 학습된 게이팅 함수를 사용하면 원격 계산 비용을 크게 줄일 수 있으며, 정확도 손실이 크지 않은가?
• RQ5 제안된 방법의 성능이 다양한 데이터셋과 비용 예산에서 GreedyMiser 및 BudgetPrune와 같은 최신 기술 수준의 방법과 비교해 어떻게 되는가?

주요 결과

• MiniBooNE 및 Forest Covertype 데이터셋에서, DynaMod-Gbrt는 40–80의 특징 비용 범위에서 BudgetPrune 및 GreedyMiser보다 유의미하게 낮은 KL 발산(높은 정확도)을 기록했다.
• Scene 15 데이터셋에서는 DynaMod-Lstsq가 원격 시스템으로 전송된 테스트 예측의 43%를 처리했으며, 신뢰도 기반(49%) 및 탐욕적(52%) 방법보다 뛰어났다.
• CIFAR-10에서 DynaMod-Lstsq는 원격 통신 비용을 예측의 43%로 줄였고, 신뢰도 기반(49%) 및 탐욕적(52%) 방법보다 높은 정확도를 유지했다.
• 현지-원격 환경에서 DynaMod-Lstsq는 MiniBooNE에서 원격 통신 비용을 예측의 15%로 줄였으며, 94%의 정확도를 유지했다. 이는 신뢰도 기반(18%) 및 탐욕적(18%) 방법보다 뛰어났다.
• 최신 기술 수준의 방법보다 뛰어난 비용-정확도 성능을 달성했으며, DynaMod-Gbrt는 여러 벤치마크에서 상향식(GreedyMiser) 및 하향식(BudgetPrune) 기반 모델을 모두 초월했다.
• 단일 단계 적용조차도 이전 연구에서의 반복적 개선 전략을 뛰어넘었으며, 바닥에서부터 시작하는 전략의 효과성을 입증했다.