[논문 리뷰] POND: Pessimistic-Optimistic oNline Dispatch.

Xin Liu, Bin Li외 2명|arXiv (Cornell University)|2020. 10. 20.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 9

한 줄 요약

POND는 도착, 보상 및 제약 조건의 분포가 알려지지 않은 상황에서 제약 조건이 있는 온라인 결정 문제를 위한 새로운 온라인 딜리버리 알고리즘이다. 이 알고리즘은 $O(\sqrt{T})$의 리그레트와 $O(1)$의 제약 위반을 달성하며, 이는 둘 다 날카로운 경계이다. 합성 및 실재 데이터셋에서의 실험적 검증을 통해 낮은 리그레트와 최소한의 제약 위반을 확인할 수 있었다.

ABSTRACT

This paper considers constrained online dispatching with unknown arrival, reward and constraint distributions. We propose a novel online dispatching algorithm, named POND, standing for Pessimistic-Optimistic oNline Dispatching, which achieves $O(\sqrt{T})$ regret and $O(1)$ constraint violation. Both bounds are sharp. Our experiments on synthetic and real datasets show that POND achieves low regret with minimal constraint violations.

연구 동기 및 목표

• 도착, 보상 및 제약 조건의 분포가 알려지지 않은 상황에서 온라인 딜리버리 문제를 해결하기 위해.
• 제약 조건이 있는 온라인 결정 문제에서 낮은 리그레트와 유한한 제약 위반을 보장하는 알고리즘을 설계하기 위해.
• 분포 지식이 없는 상황에서 리그레트와 제약 위반에 대해 날카로운 이론적 경계를 달성하기 위해.
• 합성 및 실재 데이터셋을 활용한 실험적 성능 검증을 위해.

제안 방법

• POND는 제약 조건 하에서 탐색과 이용을 균형 잡기 위해 퇴보적-최적화 전략을 활용한다.
• 실시간으로 제약 위반을 추적하고 처벌하기 위해 이중 변수를 유지한다.
• 누적 손실을 최적의 오프라인 기준과 비교하기 위해 리그레트 분해 기법을 사용한다.
• 알 수 없는 분포의 불확실성을 다루기 위해 신뢰도 갱신 규칙을 적용한다.
• 알고리즘은 시간이 지남에 따라 제약 위반이 균일하게 유한하게 유지되며, $O(1)$의 위반을 달성한다.
• 새로운 퇴보-최적화 균형 메커니즘을 통해 온라인 학습과 제약 조건 최적화를 통합한다.

실험 결과

연구 질문

• RQ1 알 수 없는 도착, 보상 및 제약 조건 분포 하에서 온라인 딜리버리 알고리즘이 $O(\sqrt{T})$ 리그레트를 달성할 수 있는가?
• RQ2 분포 불확실성에도 불구하고 이러한 알고리즘이 $O(1)$ 제약 위반을 유지할 수 있는가?
• RQ3 퇴보적-최적화 전략은 제약 조건이 있는 환경에서 기존의 온라인 학습 방법보다 어떻게 비교되는가?
• RQ4 합성 및 실재 데이터셋에서 POND의 실험적 성능은 리그레트와 제약 위반 측면에서 어떻게 나타나는가?

주요 결과

• POND는 알 수 없는 분포 하에서 온라인 학습에 대해 최선의 가능 비율인 $O(\sqrt{T})$ 리그레트를 달성한다.
• 알고리즘은 $O(1)$ 제약 위반을 보장하여 위반이 시간이 지남에 따라 증가하지 않음을 의미한다.
• 리그레트와 제약 위반 경계가 모두 날카로우며, 점근적으로 향상시킬 여지가 없음을 나타낸다.
• 합성 및 실재 데이터셋에서의 실험 결과는 낮은 리그레트와 최소한의 제약 위반을 확인한다.
• 퇴보적-최적화 설계는 실무에서 탐색과 제약 준수 균형을 효과적으로 달성한다.