[논문 리뷰] Stateful Posted Pricing with Vanishing Regret via Dynamic Deterministic Markov Decision Processes

Yuval Emek, Ron Lavi외 2명|arXiv (Cornell University)|2020. 05. 04.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 악성 평가에 대한 상태 기반 게재 가격 설정에서 새로운 온라인 학습 프레임워크를 제안하며, 동적 결정적 마르코프 결정 과정(Dd-MDP)을 사용하여 점진적 퇴적(regret)을 달성한다. 만약 오라클이 제한된 손실로 어떤 정책이든 시뮬레이션할 수 있다면, 하위선형 퇴적(regret)을 달성할 수 있음을 증명하며, 온라인 작업 스케줄링과 동적 이분 매칭에 응용하여 각각 $ O(\sqrt{CW T \log|\Gamma|}) $ 및 $ O(W^{1/4}T^{3/4}\sqrt{\log|\Gamma|}) $의 퇴적 한계를 도출한다.

ABSTRACT

In this paper, a rather general online problem called dynamic resource allocation with capacity constraints (DRACC) is introduced and studied in the realm of posted price mechanisms. This problem subsumes several applications of stateful pricing, including but not limited to posted prices for online job scheduling and matching over a dynamic bipartite graph. As the existing online learning techniques do not yield vanishing-regret mechanisms for this problem, we develop a novel online learning framework defined over deterministic Markov decision processes with dynamic state transition and reward functions. We then prove that if the Markov decision process is guaranteed to admit an oracle that can simulate any given policy from any initial state with bounded loss -- a condition that is satisfied in the DRACC problem -- then the online learning problem can be solved with vanishing regret. Our proof technique is based on a reduction to online learning with switching cost, in which an online decision maker incurs an extra cost every time she switches from one arm to another. We formally demonstrate this connection and further show how DRACC can be used in our proposed applications of stateful pricing.

연구 동기 및 목표

• 제한된 용량 조건 하에서 기존 기법이 상태 기반 가격 설정 메커니즘의 악성 온라인 학습에서 점진적 퇴적을 달성하지 못하는 데서 비롯된 격차를 해결하기 위해.
• 실제 전자상거래 및 클라우드 플랫폼에서 상태 기반 가격 설정을 포괄하는 동적 용량 제약이 있는 자원 할당 문제(DRACC)를 체계적으로 정의하기 위해.
• 제한된 손실로 정책 시뮬레이션을 위한 오라클이 존재할 경우 점진적 퇴적을 지원하는 동적 결정적 마르코프 결정 과정(Dd-MDP) 기반의 새로운 온라인 학습 프레임워크를 개발하기 위해.
• 온라인 작업 스케줄링과 동적 이분 그래프에서의 매칭이라는 두 가지 핵심 응용 분야에 프레임워크의 적용 가능성을 입증하기 위해.
• 악성 평가 조건 하에서 이 두 응용 분야에 대해 날카로운 퇴적 한계를 설정하여 이전의 확률적 또는 상태 무관 모델의 한계를 극복하기 위해.

제안 방법

• 동적 재고와 악성 평가 조건 하에서 가격이 용량 및 상태 제약을 충족해야 하는 상태 기반 가격 설정을 포괄하는 일반적 프레임워크로 DRACC 문제를 도입한다.
• 상태 전이와 보상 함수가 시간에 따라 변하는 동적 결정적 마르코프 결정 과정(Dd-MDP)이라는 새로운 의사결정 추상화를 제안하여 상태 기반 가격 설정을 모델링한다.
• Dd-MDP 문제를 스위칭 비용이 포함된 온라인 학습 문제로 환원하여 기존의 퇴적 최소화 기법을 적용할 수 있도록 한다.
• 어떤 초기 상태에서라도 제한된 손실로 정책을 시뮬레이션할 수 있는 오라클이 존재한다면, Dd-MDP 프레임워크에서 점진적 퇴적을 달성할 수 있음을 증명한다.
• 스위칭 비용 온라인 학습과의 연결을 활용하여 정책 이탈과 상태 진화의 새로운 분석을 통해 퇴적 한계를 유도한다.
• 구체적인 두 응용 분야인 온라인 작업 스케줄링(OJS)과 동적 이분 그래프에서의 매칭(MDBG)에 프레임워크를 적용하여, 이들이 DRACC로 환원됨을 보여준다.

실험 결과

연구 질문

• RQ1 공급이 제한되고 과거의 결정이 현재 상태에 영향을 주는 상태 기반 게재 가격 설정 메커니즘에서 악성 평가 조건 하에 점진적 퇴적을 달성할 수 있는가?
• RQ2 동적 상태 전이와 보상 함수를 지원하며 용량 제약 조건 하에서 하위선형 퇴적을 가능하게 하는 일반적인 온라인 학습 프레임워크가 존재하는가?
• RQ3 Dd-MDP 프레임워크를 사용하여 상태 기반 가격 설정 문제를 스위칭 비용이 포함된 알려진 온라인 학습 문제로 환원할 수 있는가?
• RQ4 제안된 프레임워크를 사용하여 악성 평가 조건 하에서 온라인 작업 스케줄링과 동적 이분 매칭에 대해 어떤 퇴적 한계를 달성할 수 있는가?
• RQ5 제안된 메커니즘이 시간, 용량, 정책 공간 크기와의 퇴적 스케일링 측면에서 거의 최적인가?

주요 결과

• 제안된 메커니즘은 DRACC 문제에 대해 점진적 퇴적을 달성하며, 임의의 T라운드 인스턴스와 정책 집합 Γ에 대해 T에 대해 하위선형 퇴적을 보장한다.
• 온라인 작업 스케줄링(OJS)의 경우 퇴적은 $ O\left(\sqrt{CW \cdot T \log|\Gamma|}\right) $ 이하로 제한되며, 이는 거의 최적이며 이전 연구를 향상시킨다.
• 동적 이분 그래프에서의 매칭(MDBG)의 경우 퇴적은 $ O\left(W^{1/4}T^{3/4}\sqrt{\log|\Gamma|}\right) $ 이하로 제한되며, 복잡한 상태 기반 환경에의 적용 가능성을 보여준다.
• 프레임워크는 스위칭 비용이 포함된 온라인 학습으로 환원되며, 동적 상태 및 보상 함수를 가진 새로운 맥락에서 기존의 퇴적 최소화 도구를 활용할 수 있도록 한다.
• 제한된 손실 정책 오라클의 존재는 점진적 퇴적을 보장하는 데 충분하며, 이는 다양한 실용적 가격 설정 문제에 프레임워크를 적용 가능하게 한다.
• 결과는 상태 기반 가격 설정이 확률적 가정이나 무한한 공급에 의존하지 않고도 악성 환경에서 효과적으로 다룰 수 있음을 보여준다.