[논문 리뷰] Fast Learning for Renewal Optimization in Online Task Scheduling

Michael J. Neely|arXiv (Cornell University)|2020. 07. 18.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 8

한 줄 요약

이 논문은 작업 유형 분포가 알려져 있지 않은 복수의 재생 보상 시스템을 위한 새로운 온라인 학습 알고리즘을 제안한다. 이 알고리즘은 로빈스-몬로 스타일의 보조 변수 갱신을 사용하여 일반적인 경우에 최적성 갭이 $O(1/\tilde{k})$로 감소하고, 강한 볼록성 조건 하에서는 $O(\log(k)/k)$로 감소하며, 이는 하한값과 일치하여 수렴 속도에서 최적성임을 입증한다.

ABSTRACT

This paper considers online optimization of a renewal-reward system. A controller performs a sequence of tasks back-to-back. Each task has a random vector of parameters, called the task type vector, that affects the task processing options and also affects the resulting reward and time duration of the task. The probability distribution for the task type vector is unknown and the controller must learn to make efficient decisions so that time average reward converges to optimality. Prior work on such renewal optimization problems leaves open the question of optimal convergence time. This paper develops an algorithm with an optimality gap that decays like $O(1/\sqrt{k})$, where $k$ is the number of tasks processed. The same algorithm is shown to have faster $O(\log(k)/k)$ performance when the system satisfies a strong concavity property. The proposed algorithm uses an auxiliary variable that is updated according to a classic Robbins-Monro iteration. It makes online scheduling decisions at the start of each renewal frame based on this variable and on the observed task type. A matching converse is obtained for the strongly concave case by constructing an example system for which all algorithms have performance at best $Ω(\log(k)/k)$. A matching $Ω(1/\sqrt{k})$ converse is also shown for the general case without strong concavity.

연구 동기 및 목표

• 온라인 재생 최적화에서 작업 유형 분포에 대한 사전 지식이 없이도 최적 수렴 시간을 달성하는 문제를 해결하기 위해.
• 관측된 작업 유형으로부터 효율적으로 학습하고, 시간 평균 보상이 최적의 오프라인 기준에 가까워지는 알고리즘을 설계하기 위해.
• 수렴 속도에 대한 날카로운 상한과 하한을 설정하여, 일반 및 강한 볼록성 조건 하에서의 최적성임을 입증하기 위해.
• 분포 지식이 없을 경우에도 프레임 단위로 결정을 적응적으로 갱신할 수 있는 실용적인 온라인 알고리즘을 개발하기 위해.

제안 방법

• 알고리즘은 최적의 이중 변수를 추정하기 위해 로빈스-몬로 스타일의 확률적 근사 반복을 통해 보조 변수를 갱신한다.
• 각 프레임의 시작에, 제어기는 관측된 작업 유형과 현재 보조 변수를 바탕으로 작업 처리 모드를 선택한다.
• 수렴이 보장되고 분산이 점점 감소하도록 하는 단계 크기 수열을 사용하여 보조 변수를 갱신한다.
• 수렴성과 성능 한계를 도출하기 위해 조건부 기대값과 마팅게일 추론을 활용한다.
• 추정된 이중 변수가 거의 확실히 최적 값으로 수렴함을 보이기 위해 조건부 기대값 추론과 모순 증명을 사용한다.
• 일반 및 강한 볼록성 조건 하에서 각각 일치하는 하한값을 구성함으로써 알고리즘이 최적임을 입증한다.

실험 결과

연구 질문

• RQ1 작업 유형 분포를 사전에 알지 못하는 재생 시스템에서 온라인 알고리즘이 최적의 시간 평균 보상으로 수렴할 수 있는 가장 빠른 속도는 무엇인가?
• RQ2 강한 볼록성과 같은 추가적인 구조적 가정 하에서, 제안된 알고리즘이 $O(1/\sqrt{k})$ 보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 강한 볼록성 조건 하에서 $O(\log k / k)$ 수렴 속도는 날카로운가, 즉 더 나은 알고리즘이 존재할 수 있는가?
• RQ4 작업 유형 분포에 대한 사전 지식이 없는 온라인 재생 최적화의 수렴 속도에 대한 본질적 한계는 무엇인가?
• RQ5 단일 알고리즘이 분포 지식이 없을 경우에도 최적 수렴 속도와 적응성을 동시에 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 일반적인 경우에 최적성 갭이 $O(1/\sqrt{k})$로 감소하며, 여기서 $k$는 처리된 작업 수이다.
• 강한 볼록성 조건 하에서는 최적성 갭이 $O(\log k / k)$로 감소하여 일반적인 경우보다 더 빠른 수렴을 달성한다.
• 일치하는 역방향 증명이 존재한다: 강한 볼록성 조건 하에서는 $\Omega(\log k / k)$ 보다 더 나은 성능을 달성할 수 없다.
• 다른 역방향 증명은 일반적인 경우, 강한 볼록성이 없을 경우 $\Omega(1/\sqrt{k})$가 본질적 한계임을 보여준다.
• 상한과 하한이 상수 인자 수준에서 일치하므로, 알고리즘은 두 상황 모두에서 최적이다.
• 증명은 하한을 확립하기 위해 반례 시스템을 구성함으로써 이루어지며, 이는 알고리즘 성능이 점점 더 향상될 수 없음을 보여준다.