[논문 리뷰] Nearly Optimal Algorithms for Piecewise-Stationary Cascading Bandits

Lingda Wang, Huozhi Zhou외 3명|arXiv (Cornell University)|2019. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 6

한 줄 요약

이 논문은 조각별 정staionary 캐스케이딩 밴딧에 대해 거의 최적의 알고리즘인 GLRT-CascadeUCB와 GLRT-CascadeKL-UCB를 제안한다. 이 알고리즘들은 변화점 탐지를 위해 일반화된 우도 비율 검정(GLRT)을 사용하며, $\mathcal{O}(√{NLT\log T})$의 리그레트 한계를 달성한다. 이는 $\Omega(√{NLT})$의 최소 최대 하한선에 $√{\log T}$ 요소를 제외하고 정확히 일치하며, 이는 $L$에 대한 의존도를 줄이고 조정 파rameter를 더 적게 요구함으로써 이전 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Cascading bandit (CB) is a popular model for web search and online advertising, where an agent aims to learn the $K$ most attractive items out of a ground set of size $L$ during the interaction with a user. However, the stationary CB model may be too simple to apply to real-world problems, where user preferences may change over time. Considering piecewise-stationary environments, two efficient algorithms, exttt{GLRT-CascadeUCB} and exttt{GLRT-CascadeKL-UCB}, are developed and shown to ensure regret upper bounds on the order of $\mathcal{O}(\sqrt{NLT\log{T}})$, where $N$ is the number of piecewise-stationary segments, and $T$ is the number of time slots. At the crux of the proposed algorithms is an almost parameter-free change-point detector, the generalized likelihood ratio test (GLRT). Comparing with existing works, the GLRT-based algorithms: i) are free of change-point-dependent information for choosing parameters; ii) have fewer tuning parameters; iii) improve at least the $L$ dependence in regret upper bounds. In addition, we show that the proposed algorithms are optimal (up to a logarithm factor) in terms of regret by deriving a minimax lower bound on the order of $Ω(\sqrt{NLT})$ for piecewise-stationary CB. The efficiency of the proposed algorithms relative to state-of-the-art approaches is validated through numerical experiments on both synthetic and real-world datasets.

연구 동기 및 목표

• 실제 응용에서 사용자 선호가 시간이 지남에 따라 변화하는 환경에서 정staionary 캐스케이딩 밴딧 모델의 한계를 해결하기 위해.
• 변화점에 의존하는 파rameter가 필요 없이 사용자 선호의 변화점을 탐지할 수 있는 능동적 적응형 알고리즘을 개발하기 위해.
• 아이템 수 $L$에 대한 의존도를 줄임으로써 조각별 정staionary 캐스케이딩 밴딧에서 리그레트 한계를 향상시키기 위해.
• 조각별 정staionary 캐스케이딩 밴딧에 대한 최소 최대 리그레트 하한선을 수립하여 알고리즘의 최적성 검증하기 위해.
• 합성 및 실세계 데이터셋에서 최신 기술 대비 제안된 알고리즘의 실용적 슈퍼리오리티를 입증하기 위해.

제안 방법

• 제안된 알고리즘은 사용자 선호 분포의 변화를 탐지하기 위해 파rameter가 없는 변화점 탐지기로 일반화된 우도 비율 검정(GLRT)을 사용한다.
• GLRT-CascadeUCB와 GLRT-CascadeKL-UCB는 캐스케이딩 밴딧에 대한 UCB 및 KL-UCB 원리를 GLRT와 통합하여 유도된다.
• 알고리즘은 탐지된 변화점에 따라 탐색 정책을 재설정함으로써 변화하는 환경에서 지속적인 학습을 보장하는 동적 적응성을 갖춘다.
• 리그레트 분석은 농도 부등식과 변화점 탐지 오차 한계를 활용하여 $\mathcal{O}(\sqrt{NLT\log T})$ 상한선을 도출한다.
• 최소 최대 리그레트 하한선 $\Omega(\sqrt{NLT})$가 유도되며, 이는 제안된 알고리즘이 $√{\log T}$ 요소를 제외하고 거의 최적임을 증명한다.
• 수치 실험은 $L=6$, $K=2$, $T=90000$, $N=9$ 조건에서 합성 데이터와 Yahoo! 뉴스 클릭 데이터셋을 사용하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 GLRT와 같은 파rameter가 없는 변화점 탐지 방법이 조각별 정staionary 캐스케이딩 밴딧에 효과적으로 적용되어 적응성 향상과 조정 감소를 이룰 수 있는가?
• RQ2 조각별 정staionary 환경에서 능동적 적응형 캐스케이딩 밴딧 알고리즘의 이론적 리그레트 한계는 무엇인가?
• RQ3 제안된 리그레트 한계는 $L$, $N$, $T$에 대한 의존도 측면에서 기존 수동 적응형 방법과 어떻게 비교되는가?
• RQ4 제안된 리그레트 상한선은 로그 요소를 제외하고 최적인가? 이는 최소 최대 하한선을 통해 확인될 수 있는가?
• RQ5 실세계 및 합성 데이터에서 제안된 알고리즘은 최신 기술 대비 실용적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 GLRT-CascadeUCB와 GLRT-CascadeKL-UCB는 $\mathcal{O}(\sqrt{NLT\log T})$의 리그레트 한계를 달성하며, 이는 이전 수동 적응형 방법보다 각각 $\sqrt{L}$ 및 $\sqrt{L\log T}$의 요소로 향상된다.
• 조각별 정staionary 캐스케이딩 밴딧에 대한 최소 최대 리그레트 하한선은 $\Omega(\sqrt{NLT})$로 설정되었으며, 이는 제안된 알고리즘이 $√{\log T}$ 요소를 제외하고 최적임을 증명한다.
• 합성 데이터셋에서 GLRT-CascadeUCB와 GLRT-CascadeKL-UCB는 $T=90000$ 동안 누적 리그레트가 각각 $527.93 \pm 25.20$ 및 $440.93 \pm 45.54$를 기록하였으며, CascadeSWUCB($664.84 \pm 29.81$)와 CascadeDUCB($1180.30 \pm 20.22$)를 크게 앞서나갔다.
• Yahoo! 데이터셋에서는 제안된 알고리즘이 각각 $1235.21 \pm 54.59$ 및 $856.77 \pm 67.16$의 리그레트를 기록하였으며, CascadeSWUCB($1519.56 \pm 52.23$)와 CascadeDUCB($3226.97 \pm 39.37$)를 모두 능가했다.
• GLRT 기반 알고리즘은 변화점을 정확하고 신속하게 탐지하였으며, 합성 및 Yahoo! 데이터셋 양쪽에서 진짜 변화점으로부터 평균 100~200단계 이내에 탐지 시간을 기록했다.
• Yahoo! 데이터셋에서 가정 2를 위반함에도 불구하고, GLRT 기반 알고리즘은 여전히 효과적으로 변화점을 탐지하였으며, 탐지 시간이 실제 변화점에 매우 가까웠다.