[논문 리뷰] Online Algorithms for Multi-shop Ski Rental with Machine Learned Advice

Shufan Wang, Li, Jian외 1명|arXiv (Cornell University)|2020. 02. 13.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기계학습(ML) 예측을 통합하여 일致성과 내성 사이의 매끄러운 트레이드오프를 달성하는 다중상가 스키 렌탈(MSSR) 문제를 위한 결정론적 및 랜덤화된 온라인 알고리즘을 제안한다. ML 조언과 최악의 경우 보장을 균형 잡기 위해 신뢰도 파라미터 λ를 사용함으로써, 예측이 정확할 경우 기존의 온라인 방법을 능가하면서도 예측이 열 劣할 경우에도 저항력을 유지한다.

ABSTRACT

We study the problem of augmenting online algorithms with machine learned (ML) advice. In particular, we consider the \emph{multi-shop ski rental} (MSSR) problem, which is a generalization of the classical ski rental problem. In MSSR, each shop has different prices for buying and renting a pair of skis, and a skier has to make decisions on when and where to buy. We obtain both deterministic and randomized online algorithms with provably improved performance when either a single or multiple ML predictions are used to make decisions. These online algorithms have no knowledge about the quality or the prediction error type of the ML prediction. The performance of these online algorithms are robust to the poor performance of the predictors, but improve with better predictions. Extensive experiments using both synthetic and real world data traces verify our theoretical observations and show better performance against algorithms that purely rely on online decision making.

연구 동기 및 목표

• 미래 입력이 불확실하지만 역사를 바탕으로 결정보를 내릴 수 있는 실제 시나리오에서 기존 온라인 알고리즘의 한계를 해결하기 위해.
• 다양한 구매/임대 가격을 가진 다수의 상점으로 일반화된 고전적 스키 렌탈 문제를 제안하여 불확실성 하에서의 의사결정을 더 현실적으로 모델링하기 위해.
• 예측의 정확도나 오류 유형에 대한 사전 지식 없이도 ML 예측을 활용하는 온라인 알고리즘을 설계하여, 예측이 우수할 경우 높은 성능을 발휘하고 예측이 열 劣할 경우에도 저항력을 유지하기 위해.
• 특히 다중상가 의사결정 맥락에서 ML 조언을 보강한 온라인 알고리즘의 일치성과 내성에 대한 이론적 프레임워크를 수립하기 위해.

제안 방법

• ML 예측에 대한 신뢰 수준을 제어하기 위해 초수치 파라미터 λ ∈ (0,1)을 도입하며, λ = 0은 완전한 신뢰, λ = 1은 신뢰 없음을 의미한다.
• ML 조언 없이도 최적의 경쟁 비율을 확보하기 위해, r_i + (b_i - r_i)/b_n 을 최소화하는 상점 i를 선택하는 결정론적 알고리즘을 개발한다.
• ML 예측을 기반으로 결정보를 내리는 랜덤화 알고리즘을 설계하며, 결정의 경계를 조정하기 위해 +1 항을 도입하여 보수적인 의사결정을 유도한다.
• 다양한 예측의 수를 고려하기 위해, 임계값(예: b_2)을 초과하는 ML 예측 수를 동적 기준값과 비교하는 임계값 기반 메커니즘을 도입하여 다수의 예측을 스케일러블하게 통합한다.
• 일치성(α)과 내성(β) 요소를 사용해 성능을 분석하며, α는 완벽한 예측 하에서의 성능을 측정하고, β는 최악의 예측 오류 상황에서의 성능을 측정한다.
• 합성 및 실제 데이터 트레이스를 대상으로 광범위한 실험을 수행하여 이론적 결과를 검증하였으며, 예측 정확도에 따라 다양하게 개선된 경쟁 비율을 입증하였다.

실험 결과

연구 질문

• RQ1 온라인 알고리즘이 예측이 정확할 경우 높은 일치성을 확보하고, 예측이 열 劣할 경우 강력한 내성을 유지할 수 있는가?
• RQ2 예측 정확도나 오류 분포에 대한 사전 지식 없이도 다양한 모델에서 유래한 다수의 ML 예측을 온라인 의사결정에 효과적으로 통합할 수 있는가?
• RQ3 신뢰도 파라미터 λ가 MSSR 문제에서 ML 안내와 최악의 경우 보장 사이의 성능 균형에 미치는 영향은 무엇인가?
• RQ4 기본 결정 기준 계산에 +1 항을 포함시키는 것이 경쟁 비율과 의사결정의 보수성에 어떤 영향을 미치는가?
• RQ5 예측 편향과 분산이 다양하게 존재하는 실제 데이터 상황에서 이론적 일치성 및 내성 보장이 얼마나 유지되는가?

주요 결과

• 제안된 결정론적 알고리즘은 ML 조언 없이도 r_i + (b_i - r_i)/b_n 을 최소화하는 상점 i를 선택함으로써 MSSR 문제에서 최소 경쟁 비율을 달성한다.
• 단일 ML 예측을 사용할 경우, 간단한 통합 방식은 내성을 보장하지 못하지만, λ 조정을 통해 제안된 방법은 예측 오류에 대한 사전 지식 없이도 일치성과 내성을 모두 유지한다.
• 편향이 없는 예측 오류의 경우, 고정된 λ에서 m(예측 수)가 증가할수록 성능이 향상되며, 정확한 예측일 경우 더 작은 λ 값이 더 우수한 성능을 낸다.
• 고정된 m와 λ에서, 낮은 분산 상황에서는 낮은 편향이 경쟁 비율 향상에 유리하고, 높은 분산 상황에서는 높은 편향이 유리함을 보여주며, 오류 특성에 적응적으로 반응하는 특성을 입증한다.
• 기본 결정 기준에 +1 항을 포함시키는 것은, 많은 예측이 b_2를 초과할 경우 조기에 구매를 유도하고, 예측이 b_2 이하일 경우 더 오래 렌탈을 연장함으로써 더 보수적이고 적응적인 의사결정을 가능하게 하여 성능을 향상시킨다.
• 합성 및 실제 데이터를 대상으로 한 실험 결과, 제안된 알고리즘이 특히 예측이 정확할 경우 기존의 온라인 알고리즘을 크게 능가하며, 이론적 일치성과 내성의 트레이드오프가 검증됨을 확인하였다.