[논문 리뷰] Multinomial Logit Bandit with Low Switching Cost

Kefan Dong, Yingkai Li외 2명|arXiv (Cornell University)|2020. 07. 09.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 저비용 전환을 고려한 다항 로짓 밴디트 문제를 위해 AT-DUCB 및 FH-DUCB 알고리즘을 제안하며, 거의 최적의 리그레트를 달성하면서도 어셈블리지 전환 횟수를 최소화한다. 이는 엄밀한 경계를 확립한 것으로, AT-DUCB는 $O(N\log T)$의 어셈블리지 전환 횟수를 기록하며, $\Omega(N\log T / \log\log T)$의 하한과 거의 일치한다. 또한 FH-DUCB는 고정된 시간 범위 설정에서 $O(N\log\log T)$의 전환 횟수를 달성하여 渐近적 하한과 정확히 일치한다.

ABSTRACT

We study multinomial logit bandit with limited adaptivity, where the algorithms change their exploration actions as infrequently as possible when achieving almost optimal minimax regret. We propose two measures of adaptivity: the assortment switching cost and the more fine-grained item switching cost. We present an anytime algorithm (AT-DUCB) with $O(N \log T)$ assortment switches, almost matching the lower bound $Ω(\frac{N \log T}{ \log \log T})$. In the fixed-horizon setting, our algorithm FH-DUCB incurs $O(N \log \log T)$ assortment switches, matching the asymptotic lower bound. We also present the ESUCB algorithm with item switching cost $O(N \log^2 T)$.

연구 동기 및 목표

• 다항 로짓 밴디트 문제에서 어셈블리지 및 아이템 전환 비용을 최소화하면서 거의 최적의 리그레트를 유지하는 것.
• 소매 및 온라인 광고 분야에서 빈번한 어셈블리지 변경이 비용이 많이 들기 때문에 실용적 제약 조건을 고려하는 것.
• 증명 가능하게 낮은 전환 비용을 갖는 언제든지 적용 가능한 알고리즘과 고정된 시간 범위 설정에서의 알고리즘을 개발하는 것.
• 거의 최적의 리그레트를 달성하는 어떤 알고리즘이라도 요구되는 어셈블리지 전환 비용에 대한 이론적 하한을 설정하는 것.
• 어셈블리지 전환 비용과 아이템 전환 비용이라는 두 가지 측정 기준을 사용하여 리그레트와 전환 비용 간의 상호 교환 관계를 분석하는 것.

제안 방법

• UCB 기반 탐색과 연기된 업데이트를 사용하여 어셈블리지 전환 횟수를 $O(N\\log T)$로 줄이는 언제든지 적용 가능한 알고리즘인 AT-DUCB를 제안한다.
• 시간 범위 지식을 활용하여 고정된 시간 범위 설정에서 $O(N\log\log T)$의 어셈블리지 전환 횟수를 달성하는 FH-DUCB를 도입한다.
• ESUCB는 $O(N\log^2 T)$의 아이템 전환 비용을 가지며, 이후 체크 서브루틴에서 카운터 재초기화를 피하는 방식으로 $O(N\log T)$의 아이템 전환 횟수로 개선된다.
• 값 업데이트 횟수를 제한함으로써 전환 이벤트를 줄이기 위해 UCB 계산에 연기된 업데이트 메커니즘을 사용한다.
• 확률 집중 부등식과 고확률 사건 분석을 적용하여 불확실성 하에서 리그레트와 전환 비용을 경계한다.
• 항목 전환 비용을 정의하기 위해 대칭 차집합 연산자 $|S_t \oplus S_{t+1}|$를 사용하여 변화에 대한 세밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떤 알고리즘이라도 거의 최적의 리그레트를 달성하기 위해 필요한 어셈블리지 전환 횟수의 최소값은 얼마인가?
• RQ2 시간 범위를 사전에 알지 못하는 언제든지 적용 가능한 알고리즘이 거의 최적의 리그레트와 낮은 어셈블리지 전환 비용을 동시에 달성할 수 있는가?
• RQ3 이론적 경계와 알고리즘 설계 측면에서 아이템 전환 비용은 어셈블리지 전환 비용과 어떻게 비교되는가?
• RQ4 고정된 시간 범위 설정은 언제든지 적용 가능한 설정보다 더 날카운 전환 비용 경계를 허용할 수 있는가?
• RQ5 기존의 UCB 스타일 알고리즘에 어떤 수정 사항이 아이템 전환 비용을 줄이면서도 리그레트 보장을 유지하는가?

주요 결과

• AT-DUCB는 거의 최적의 리그레트를 유지하면서 $O(N\log T)$의 어셈블리지 전환 횟수를 달성하며, $\Omega(N\log T / \log\log T)$의 하한과 거의 일치한다.
• FH-DUCB는 고정된 시간 범위 설정에서 $O(N\log\log T)$의 어셈블리지 전환 횟수를 달성하여 渐近적 하한과 정확히 일치한다.
• 수정된 ESUCB 알고리즘은 체크 서브루틴에서 카운터 재초기화를 피하는 방식으로 아이템 전환 비용을 $O(N\log^2 T)$에서 $O(N\log T)$로 감소시켰다.
• 어느 언제든지 적용 가능한 알고리즘이라도 거의 최적의 리그레트를 달성하기 위해 어셈블리지 전환 비용에 대해 $\Omega(N\log T / \log\log T)$의 하한을 증명하였다.
• 항목 전환 비용은 항상 어셈블리지 전환 비용보다 크거나 같으며, 최대 $\min\{2K,N\}$ 배까지 클 수 있어 두 측정 기준 간의 엄밀한 관계를 설정하였다.