[논문 리뷰] Adaptive Classification for Prediction Under a Budget

Nan Feng, Venkatesh Saligrama|arXiv (Cornell University)|2017. 05. 26.

Data Stream Mining Techniques인용 수 28

한 줄 요약

이 논문은 높은 정확도이지만 고비용인 모델을 저비용 대체 모델로 근사하기 위해 게이팅 함수와 저비용 예측 모델을 학습하는 바닥에서부터의 적응형 분류 방법을 제안한다. 공유된 특징을 사용한 경험적 리스크 최소화를 통해 정확도와 비용 제약 조건을 동시에 최적화함으로써, 정확도를 훼손하지 않은 채 평균 63%의 비용 절감을 달성하며, 벤치마크 데이터셋에서 최신 상위 수준의 상향식 및 하향식 접근 방식을 능가한다.

ABSTRACT

We propose a novel adaptive approximation approach for test-time resource-constrained prediction. Given an input instance at test-time, a gating function identifies a prediction model for the input among a collection of models. Our objective is to minimize overall average cost without sacrificing accuracy. We learn gating and prediction models on fully labeled training data by means of a bottom-up strategy. Our novel bottom-up method first trains a high-accuracy complex model. Then a low-complexity gating and prediction model are subsequently learned to adaptively approximate the high-accuracy model in regions where low-cost models are capable of making highly accurate predictions. We pose an empirical loss minimization problem with cost constraints to jointly train gating and prediction models. On a number of benchmark datasets our method outperforms state-of-the-art achieving higher accuracy for the same cost.

연구 동기 및 목표

• 특징 추출 또는 계산에 비용이 드는 자원 제약 조건 하에서의 기계 학습 응용 프로그램에서의 예측 문제를 해결하기 위해.
• 예산 제약 조건 하에서 높은 정확도를 유지하면서 총 예측 비용을 최소화하는 방법을 개발하기 위해.
• 상향식 특징 선택에서 내재된 조합적 과제를 극복하기 위해 하향식 접근 전략을 제안하기 위해.
• 재학습 없이도 기존의 고비용 레거시 시스템에서 비용 절감을 가능하게 하기 위해.
• 간편한 입력 영역에서 높은 정확도 모델을 적응적으로 근사하는 저비용 게이팅 함수와 예측 모델을 동시에 학습하기 위해.

제안 방법

• 먼저, 표준 방법을 사용하여 완전히 레이블이 붙은 훈련 데이터를 기반으로 높은 정확도 모델(HPC)을 훈련시킨다.
• 그 후, 정확도를 유지할 수 있는 영역에서 HPC 모델을 적응적으로 근사할 수 있는 저비용 게이팅 함수와 저예측비용(LPC) 모델을 학습시킨다.
• 공유된 특징을 사용한 경험적 리스크 최소화 문제로 공식화된 공동 학습 과정은 마진 기반 목적 함수를 사용한다.
• 교대로 최소화하는 방법이 사용되며, 각 단계는 확률 공간 위의 I-투영 또는 M-투영과 동일하므로 수렴 보장이 된다.
• 게이팅 함수와 LPC 모델 간의 공유된 특징과 결정 아키텍처를 선호함으로써 총 비용을 줄인다.
• 이 방법은 다중 단계에서 반복적으로 적용될 수 있으며, 정확도-비용 트레이드오프를 더욱 정교하게 다룰 수 있다. 단일 단계만으로도 최신 기술을 능가한다.

실험 결과

연구 질문

• RQ1 예산 제약 조건 하에서 정확도-비용 트레이드오프 측면에서 하향식 특징 선택에 비해 하향식 접근 방식이 더 뛰어난가?
• RQ2 게이팅 함수와 저비용 예측 모델을 어떻게 공동으로 학습시켜 정확도를 유지하면서도 테스트 시간 비용을 최소화할 수 있는가?
• RQ3 어느 정도까지 높은 정확도 모델을 정확도를 훼손하지 않으면서도 쉽게 입력 영역에서 저비용 모델로 근사할 수 있는가?
• RQ4 게이팅 함수와 예측 모델 간의 공유된 특징 사용이 더 나은 비용 절감과 일반화 성능을 이끌어내는가?
• RQ5 이 방법은 재학습 없이도 기존의 고비용 레거시 시스템에 효과적으로 적용될 수 있는가?

주요 결과

• Adapt-Gbrt는 MiniBooNE에서 평균 특징 비용을 63% 절감하고, Forest Covertype에서 32%, Yahoo! Rank에서 58%, CIFAR10에서 12%, Letters에서 31% 절감하며, 정확도는 1% 이내로 유지한다.
• 모든 벤치마크 데이터셋에서 Adapt-Gbrt는 GreedyMiser, BudgetPrune 및 기타 최신 기술보다 정확도-비용 성능에서 뛰어나다.
• Forest Covertype 데이터셋에서, Adapt-Gbrt는 GreedyMiser가 비용 658일 때 정밀도가 0.138에 도달하는 정점에 도달했음에도 불구하고 더 높은 정확도를 유지한다.
• Adapt-Gbrt는 RBF-SVM과 랜덤 포레스트와 같은 강력한 비선형 모델을 근사할 때 Adapt-Lin보다 뚜렷이 뛰어나다.
• 모든 데이터셋에서 평균 40%의 비용 절감을 달성하면서도 원래의 고정확도 모델과 테스트 정확도를 1% 이내로 유지한다.
• 이 방법의 반복적 적용은 정확도-비용 트레이드오프를 더욱 정교하게 다스리며, 단일 단계만으로도 최신 기술을 초월한다.