[논문 리뷰] Scheduling with Predictions and the Price of Misprediction

Michael Mitzenmacher|arXiv (Cornell University)|2019. 02. 02.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 27

한 줄 요약

이 논문은 예측된 서비스 시간을 고려한 작업 스케줄링 분석을 위한 프레임워크를 제안하며, 진짜 서비스 시간과 예측된 서비스 시간을 모델링하는 연합 밀도 함수 $g(x,y)$를 사용하여 최단 예측 작업 우선(SPJF) 및 최단 예측 잔여 처리 시간(SPRPT) 전략의 정확한 성능 공식을 유도한다. 주요 기여는 '예측 실수의 가격'—예측의 부정확성으로 인한 성능 손실—을 정량화한 것으로, 약한 예측이라도 고부하 상황에서 특히 유의미한 이점을 제공함을 보여준다.

ABSTRACT

In many traditional job scheduling settings, it is assumed that one knows the time it will take for a job to complete service. In such cases, strategies such as shortest job first can be used to improve performance in terms of measures such as the average time a job waits in the system. We consider the setting where the service time is not known, but is predicted by for example a machine learning algorithm. Our main result is the derivation, under natural assumptions, of formulae for the performance of several strategies for queueing systems that use predictions for service times in order to schedule jobs. As part of our analysis, we suggest the framework of the "price of misprediction," which offers a measure of the cost of using predicted information.

연구 동기 및 목표

• 작업 서비스 시간이 알려져 있지 않고 예측된 경우로 일반적인 큐잉 이론을 확장하기 위해.
• 스케줄링 전략에서 부정확한 예측을 사용할 경우 발생하는 성능 비용을 정량화하기 위해.
• 큐잉 환경에서 다양한 기계학습 기반 예측 시스템에 적용 가능한 일반적인 분석 프레임워크를 개발하기 위해.
• 정확도가 낮은 예측이라도 정보가 전혀 없을 때와 비교해 시스템 성능을 상당히 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 진짜 서비스 시간 $x$와 예측된 서비스 시간 $y$를 모델링하기 위해 연합 확률 밀도 함수 $g(x,y)$를 사용한다.
• 연합 밀도 함수 $g(x,y)$를 기반으로 SPJF 및 SPRPT 전략 하에서 시스템 내 평균 체류 시간에 대한 정확한 해석적 공식을 유도한다.
• 경쟁 분석과 확률적 가정을 활용해 다양한 부하 조건 하에서 성능 지표를 계산한다.
• 다양한 분포(지수, Weibull)와 예측 정확도에서 광범위한 시뮬레이션을 통해 이론적 결과를 검증한다.
• 예측 오차로 인한 성능 저하를 정량화하기 위해 '예측 실수의 가격'을 지표로 도입한다.
• 유한 작업 및 무한 큐(정적 상태) 설정에 모두 프레임워크를 적용하며, 포아송 도착을 가진 큐잉 시스템에 집중한다.

실험 결과

연구 질문

• RQ1 진짜 서비스 시간이 아니라 예측된 서비스 시간을 사용할 경우 SPJF 및 SPRPT 전략의 성능는 얼마나 떨어지는가?
• RQ2 큐잉 시스템에서 예측 정확도와 시스템 성능 사이의 분석적 관계는 무엇인가?
• RQ3 예측 실수의 가격은 시스템 부하와 예측 오차 분포에 따라 어떻게 변하는가?
• RQ4 약한 또는 노이즈가 많은 예측이라도 정보가 전혀 없을 때와 비교해 성능 향상이 얼마나 이루어지는가?
• RQ5 기본 큐잉 가정 하에서 예측을 통한 스케줄링에 대해 정확한 성능 공식을 도출할 수 있는가?

주요 결과

• 모든 테스트 부하 및 분포에서 SPJF 및 SPRPT 전략 하에서 시스템 내 평균 체류 시간에 대한 이론적 공식이 시뮬레이션 결과와 1% 이내의 오차로 일치한다.
• 예측 오차가 존재하더라도(예: 예측 시간이 $[(1-\alpha)x, (1+\alpha)x]$ 범위의 균일 분포), $\alpha$가 증가함에 따라 성능 저하가 점진적으로 발생한다.
• 고부하 상황($\lambda = 0.99$)에서 SPRPT는 예측을 사용할 경우 시스템 내 평균 체류 시간이 약 28.79로 계산되며, FIFO 대비 100에 비해 상당한 성능 향상을 보인다.
• $\lambda = 0.95$일 때, $\alpha = 0.2$(20% 오차)인 SPRPT의 평균 체류 시간은 약 8.41로, 정확한 지식이 있을 경우의 약 8.32와 거의 유사하여 성능 손실가 최소화됨을 보여준다.
• 예측이 상당히 정확할 경우 예측 실수의 가격은 낮으며, 예측이 완벽하지 않더라도 여전히 유의미한 이점을 제공함을 보여준다.
• 프레임워크는 무거운 尾(heavy-tailed) 분포(예: Weibull)에도 잘 일반화되어 있으며, 다양한 서비스 시간 특성에 대해 강건함을 보였다.