[논문 리뷰] Combinatorial Semi-Bandits with Knapsacks

Karthik Abinav Sankararaman, Aleksandrs Slivkins|arXiv (Cornell University)|2017. 05. 23.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 14

한 줄 요약

이 논문은 밴딧과 컨테이너를 결합하고 조합적 반반밴딧을 통합하는 통합 프레임워크인 조합적 반반밴딧-컨테이너(세미BwK)를 소개한다. 이는 자원 제약 조건 하에서 효율적인 학습과 조합적 행동 집합을 가능하게 한다. 제안된 알고리즘은 BwK와 조합적 반반밴딧의 최상위 성능에 도달하는 리그레트 한계를 달성하며, 매트로이드 제약 조건 하에서 원소 수에 대해 거의 선형 시간 복잡도를 보인다.

ABSTRACT

We unify two prominent lines of work on multi-armed bandits: bandits with knapsacks (BwK) and combinatorial semi-bandits. The former concerns limited "resources" consumed by the algorithm, e.g., limited supply in dynamic pricing. The latter allows a huge number of actions but assumes combinatorial structure and additional feedback to make the problem tractable. We define a common generalization, support it with several motivating examples, and design an algorithm for it. Our regret bounds are comparable with those for BwK and combinatorial semi- bandits.

연구 동기 및 목표

• 밴딧-컨테이너(BwK)와 조합적 반반밴딧이라는 두 주요 밴딧 프레임워크를 통합하여 자원 제약 조건과 큰 행동 공간을 각각 다루는 데 목적이 있다.
• 조합적 행동, 부분 피드백, 제한된 자원 예산을 포함하는 시나리오를 모델링할 수 있는 공통 일반화인 조합적 반반밴딧-컨테이너(SemiBwK)를 정의하는 것.
• BwK와 조합적 반반밴딧의 최고 성능에 도달하는 리그레트 한계를 달성하는 효율적인 알고리즘을 설계하는 것.
• 동적 가격 설정, 동적 어울림 조합, 반복 경매와 같은 다양한 적용 설정에서 실험적으로 접근 방식을 검증하여 강력한 성능을 보여주는 것.

제안 방법

• 매트로이드 제약 조건 하에서 타당한 원소 부분집합을 선택하기 위해, BwK 기반의 낙관적 선형 프로그래밍 근사와 조합 최적화에서 유래한 랜덤화된 반올림 기법을 통합한다.
• 불확실성 하에서 낙관주의를 사용하여 탐색과 이용의 균형을 이루며, 각 원소에 대한 보상과 자원 소비에 대한 상한 신뢰 구간을 유지한다.
• 각 라운드에서 결과는 i.i.d.이며 원소와 자원 간에 임의의 상관관계를 가진다. 보상과 소비량은 [0,1] 범위로 제한된다.
• 타당한 행동 집합을 모델링하기 위해 매트로이드 제약 조건을 활용하며, 이는 카디널리티, 파artition, 스패닝 트리 제약 조건을 일반화한다.
• 샘플링 기반의 낙관적 파라미터 추정을 빠르게 하기 위해 linCBwK 기준선에 히우리스틱을 적용하며, 각 시간 단계당 30개의 다변량 정규 분포 표본을 사용한다.
• 각 라운드에서 다항식 시간 내에 실행되며, 중요한 특수 케이스에서는 원소 수에 대해 거의 선형 복잡도를 보인다.

실험 결과

연구 질문

• RQ1 밴딧 학습에서 동시에 조합적 행동 집합과 자원 제약 조건을 다룰 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 이 일반화된 설정에서 달성 가능한 리그레트 한계는 무엇이며, 기존 BwK 및 조합적 반반밴딧 결과와 비교해 볼 때 어떻게 되는가?
• RQ3 원소 수에 따라 잘 스케일링되며 낮은 리그레트를 유지할 수 있는 효율적인 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 동적 가격 설정 및 어울림과 같은 실질적 응용에서 이론적 리그레트 한계는 어느 정도 유지되는가?

주요 결과

• 알고리즘은 Õ(√n)(OPT/√B + √(T + OPT))의 리그레트 한계를 달성하며, 이는 BwK와 조합적 반반밴딧 모두에서 최적 형태의 리그레트를 보장한다.
• BwK는 특수 케이스로, 행동이 단일 원소일 경우 리그레트는 Õ(T√(n/B) + √(nT))가 되며, Badanidiyuru 등(2013a)의 하한선과 일치한다.
• 최대 k개의 원소를 포함하는 조합적 반반밴딧의 경우 리그레트 한계는 Õ(√(knT))이며, Kveton 등(2014)의 Ω(√(knT)) 하한선과 일치한다.
• 실험적 평가에서 제안된 알고리즘이 동적 가격 설정 및 어울림 작업에서 경쟁자들을 능가하며, 모든 테스트 구성에서 최고의 리그레트 성능을 달성한다.
• 단계당 실행 시간은 n에 대해 다항식이며, 매트로이드 제약 조건 하에서는 거의 선형 복잡도를 보이며, 실험 결과로 스케일링 및 효율성의 확인이 이루어졌다.
• 행렬 연산이 많은 작업을 고려할 때, linCBwK에는 MATLAB을, 나머지에는 Python을 사용한 구현은 언어 성능의 차이를 고려한 것으로 타당하다.