[논문 리뷰] Logarithmic regret bounds for Bandits with Knapsacks

Arthur Flajolet, Patrick Jaillet|arXiv (Cornell University)|2015. 10. 07.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 8

한 줄 요약

이 논문은 동적 가격 설정, 온라인 광고, 입찰 최적화를 포함한 네 가지 중요한 케이스에서 자원의 초기 보유량에 대해 로그 규모의 손실 한계를 확보하는 일반 목적의 Bandits with Knapsacks (BwK) 알고리즘을 제안한다. 주요 기여는 초기 자원 보유량 B에 대해 Θ(ln(B)) 순서의 분포 의존 손실 한계를 확립함으로써 BwK 이론에서 중요한 격차를 메우는 것이다.

ABSTRACT

Optimal regret bounds for Multi-Armed Bandit problems are now well documented. They can be classified into two categories based on the growth rate with respect to the time horizon $T$: (i) small, distribution-dependent, bounds of order of magnitude $\ln(T)$ and (ii) robust, distribution-free, bounds of order of magnitude $\sqrt{T}$. The Bandits with Knapsacks model, an extension to the framework allowing to model resource consumption, lacks this clear-cut distinction. While several algorithms have been shown to achieve asymptotically optimal distribution-free bounds on regret, there has been little progress toward the development of small distribution-dependent regret bounds. We partially bridge the gap by designing a general-purpose algorithm with distribution-dependent regret bounds that are logarithmic in the initial endowments of resources in several important cases that cover many practical applications, including dynamic pricing with limited supply, bid optimization in online advertisement auctions, and dynamic procurement.

연구 동기 및 목표

• 기존에 √T 순서의 분포 무관 손실 한계 외에 분포 의존 손실 한계가 없었던 Bandits with Knapsacks (BwK) 문제에서의 부족함을 보완한다.
• 표준 MAB 문제에서 관찰되는 최적의 행동과 일치하는 초기 자원 보유량에 대해 로그 규모의 손실 한계를 확보하는 일반 알고리즘을 개발한다.
• 단일 스토케스틱 자원, 다수의 결정론적 자원, 한 개의 스토케스틱 자원을 포함하는 두 자원, 비퇴도성 조건 하의 다수 자원과 같은 네 가지 실용적으로 관련된 케이스를 다룬다.
• 자원 보유량이 큰 설정에서 로그 규모의 손실 한계가 성립함을 이론적으로 정당화하여, 온라인 광고와 같은 빠른 속도의 응용에서 흔한 상황을 다룬다.
• 분포 의존 및 분포 무관 손실 한계 간의 이론적 격차를 메우기 위해, 온건한 가정 하에 로그 규모의 한계가 달성 가능하다는 것을 보여준다.

제안 방법

• 자원 제약 조건을 고려하면서 탐색과 이용을 적응적으로 균형 잡는 템플릿 알고리즘을 설계한다.
• 최적 정책의 선형 프ogram밍(선형 프로그래밍) 근사화를 사용해 타당한 기저를 정의하고 액터 선택을 안내한다.
• 집중 불등식과 마팅게일 추론을 적용하여 열등한 액터가 뽑히는 횟수를 제한한다.
• 작은 자원 보유량의 변화가 최적 해를 크게 변화시키지 않도록 보장하기 위해 비퇴도성 조건을 도입한다.
• 이중 변수의 구조와 타당 영역의 기하학적 성질을 활용하여 B에 대해 로그 규모로 증가하는 손실 한계를 유도한다.
• 손실 한계가 역 간격 Δx와 총 자원 보유량에 의존하며, 상수는 문제의 비퇴도성과 자원 비율에 따라 달라진다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 Bandits with Knapsacks에서 초기 자원 보유량 B에 대해 Θ(ln(B)) 순서의 분포 의존 손실 한계를 달성할 수 있는가?
• RQ2 동적 가격 설정이나 온라인 광고와 같은 실용적 BwK 설정에서 이러한 로그 규모의 손실 한계를 확립할 수 있는가?
• RQ3 스토케스틱 대비 결정론적 자원 소비, 비퇴도성 등의 구조적 가정이 로그 규모의 손실 한계 달성 가능성에 어떤 영향을 미치는가?
• RQ4 선형 프로그래밍 근사화의 최적 해와 유한 시간 범위 BwK 문제에서 실제 알고리즘의 손실 간의 관계는 무엇인가?
• RQ5 이상적 간격 Δ∞x와 상대적 자원 보유량 b(i)를 기반으로 한계를 표현할 수 있는가? 이를 통해 더 날카롭고 해석 가능한 한계를 도출할 수 있는가?

주요 결과

• 제안된 알고리즘은 케이스 1(단일 스토케스틱 자원)에서 초기 보유량 B에 대해 O(ln(B)) 순서의 손실 한계를 확보하며, 이는 최적의 MAB 성능과 일치한다.
• 케이스 3(두 자원, 한 개의 스토케스틱 자원, 비퇴도성 조건 하), 손실은 O(ln(B)) × (∑_{x∈B∞|Δ∞x>0} 1/Δ∞x)로 제한되며, B에 대해 여전히 로그 규모이다.
• 케이스 4(더 강한 비퇴도성 조건 하의 다수 자원), 손실 한계는 O(ln(B)) × (∑_{x∈B∞∩O∞^c} 1/Δ∞x)로 스케일링되며, 다시 한번 B에 대해 로그 의존성을 확보한다.
• 자원 보유량의 작은 변동에 대해 손실 한계가 강건함을 보여주기 위해, 최적 기저 비율에서의 편차에 대해 O(ln(B)/B) 항이 존재한다.
• 분석을 통해 B가 증가함에 따라 한계가 점 渐차적으로 성립함을 확인하였으며, 상수 요소는 문제의 비퇴도성과 자원 비율에 따라 달라진다.
• 결과적으로, 온건한 구조적 가정 하에서 BwK에서 로그 규모의 손실 한계가 달성 가능하며, 이는 이전의 분포 무관 알고리즘의 √T 한계보다 크게 향상된 것이다.