[논문 리뷰] Quit When You Can: Efficient Evaluation of Ensembles with Ordering Optimization

Serena Wang, Maya R. Gupta외 1명|arXiv (Cornell University)|2018. 06. 28.

Machine Learning and Data Classification참고 문헌 19인용 수 3

한 줄 요약

이 논문은 평균 평가 시간을 최소화하면서 전체 앙상블 정확도를 유지하기 위해 기본 모델의 평가 순서와 조기 정지 임계값을 공동으로 최적화하는 탐욕 알고리즘인 Quit When You Can (QWYC)을 제안한다. 실질적으로 2배에서 4배의 속도 향상을 달성하며, 특정 경우에 대해 4-근사 보장을 제공하여 히우리스틱 순서와 이전 방법들(예: Fan et al., 2002)을 능가한다.

ABSTRACT

Given a classifier ensemble and a set of examples to be classified, many examples may be confidently and accurately classified after only a subset of the base models in the ensemble are evaluated. This can reduce both mean latency and CPU while maintaining the high accuracy of the original ensemble. To achieve such gains, we propose jointly optimizing a fixed evaluation order of the base models and early-stopping thresholds. Our proposed objective is a combinatorial optimization problem, but we provide a greedy algorithm that achieves a 4-approximation of the optimal solution for certain cases. For those cases, this is also the best achievable polynomial time approximation bound unless $P = NP$. Experiments on benchmark and real-world problems show that the proposed Quit When You Can (QWYC) algorithm can speed-up average evaluation time by $2$x--$4$x, and is around $1.5$x faster than prior work. QWYC's joint optimization of ordering and thresholds also performed better in experiments than various fixed orderings, including gradient boosted trees' ordering.

연구 동기 및 목표

• 정확도를 훼손하지 않으면서 앙상블 분류의 평균 추론 지연 시간과 계산 비용을 줄이는 것.
• 특히 일부 예측은 하위 집합에 의해 쉽게 분류될 수 있음에도 불구하고 모든 기본 모델을 모든 예제에 대해 평가하는 비효율성 문제를 해결하는 것.
• 히우리스틱 순서나 고정된 프루닝 전략에 의존하는 대신, 모델 순서와 조기 정지 임계값을 공동으로 최적화하는 것.
• 실제 데이터셋과 벤치마크 데이터셋에 적용 가능한 실용적이고 확장 가능한 동적 앙상블 프루닝 알고리즘을 개발하는 것.
• 모델 순서와 임계값의 공동 최적화가 사전에 선택된 순서와 기존의 조기 정지 메커니즘을 조합하는 것보다 더 우수한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• T개의 기본 모델의 최적 평가 순서와 2T개의 조기 정지 임계값(양성 및 음성)을 공동으로 선택하여 평균 평가 모델 수를 최소화하는 조합 최적화 목표를 제안한다.
• 간단한 조기 정지 규칙을 도입: r개의 모델 이후 누적 점수가 r번째 양성 임계값 ε⁺_r를 초과하면 양성으로 분류하고, 그렇지 않으면 계속 평가한다.
• 최적 해를 근사하기 위해 탐욕 알고리즘인 Quit When You Can (QWYC)을 개발하여 특정 앙상블 유형에 대해 4-근사 보장을 달성한다.
• 4-근사 보장은 표준 복잡도 가정(즉, P≠NP) 하에서 날카로운 상한선이며, 이 문제 유형에 대해 가능한 가장 좋은 다항 시간 근사치이다.
• 독립적으로 훈련된 앙상블와 공동으로 훈련된 앙상블 모두에 이 방법을 적용하며, 레이블이 없는 테스트 데이터를 포함한 실세계 생산 시스템에 적용한다.
• QWYC*로 확장하여 레이블이 없는 테스트 데이터가 있어도 순서와 임계값을 최적화할 수 있도록 하여 데이터 부족 환경에서도 생산적 환경에 도입 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 순서와 조기 정지 임계값의 공동 최적화가 앙상블 모델의 평균 평가 시간을 크게 줄일 수 있는가?
• RQ2 이 공동 최적화 문제에 대해 다항 시간 내에서 달성 가능한 이론적 근사 한계는 무엇인가?
• RQ3 QWYC는 조기 정지와 함께 히우리스틱 순서 전략(예: 정확도, 다양성, 기울기 부스팅 순서)과 비교해 어떻게 성능을 냈는가?
• RQ4 레이블이 없는 테스트 데이터가 존재하는 실세계 환경에서도 이 방법을 효과적으로 적용할 수 있는가?
• RQ5 더 유연한 조기 정지 기준을 사용할 경우, QWYC는 Fan et al. (2002)와 같은 최신 기법들을 능가하는가?

주요 결과

• QWYC는 벤치마크 및 실세계 데이터셋에서 평균 평가 시간을 2배에서 4배 빠르게 하면서도 전체 앙상블 정확도를 유지한다.
• QWYC의 순서와 임계값 공동 최적화는 정확도 대비 평가 시간 성능에서 기존의 고정 순서(예: 기울기 부스팅 트리 순서 포함)를 모두 능가한다.
• 레이블이 없는 테스트 데이터가 없는 실세계 시스템에서도 QWYC*는 Fan et al. (2002)*보다 1.8배에서 4배 빠른 추론을 달성한다.
• 4-근사 보장은 표준 복잡도 가정 하에서 최적이며, P=NP가 아닌 한 더 나은 다항 시간 근사치는 존재하지 않는다.
• 기본 모델들이 매우 유사한 경우(예: 독립적으로 훈련된 앙상블)에도 불구하고 QWYC는 랜덤 순서가 열등한 성능을 보일 때에도 효과적이다.
• QWYC의 공동 최적화는 Fan et al. (2002)의 민첩한 조기 정지 임계값과 어떤 사전 선택된 순서를 조합하는 것보다 더 효과적이며, 공동 설계의 가치를 입증한다.