[논문 리뷰] Be Aware of Non-Stationarity: Nearly Optimal Algorithms for Piecewise-Stationary Cascading Bandits.

Lingda Wang, Huozhi Zhou외 3명|arXiv (Cornell University)|2019. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 3

한 줄 요약

이 논문은 사용자 선호도 변화를 탐지하는 데 파rameter-free 일반화된 우도 비율 검정(GLRT)을 사용하는 거의 최적의 알고리즘인 GLRT-CascadeUCB와 GLRT-CascadeKL-UCB를 제안한다. 이 알고리즘들은 조각별 정적(cascading bandits) 환경에서 사용자 선호도 변화를 효과적으로 탐지하며, $\mathcal{O}(\sqrt{NLT\log T})$의 최대 손실 상한선을 달성한다. 이는 $\Omega(\sqrt{NLT})$의 최소최대 하한선과 로그 인자 외에는 정확히 일치하여, 더 적은 튜닝 파rameter와 $L$에 대한 개선된 의존성으로 거의 최적성을 입증한다.

ABSTRACT

Cascading bandit (CB) is a popular model for web search and online advertising, where an agent aims to learn the $K$ most attractive items out of a ground set of size $L$ during the interaction with a user. However, the stationary CB model may be too simple to apply to real-world problems, where user preferences may change over time. Considering piecewise-stationary environments, two efficient algorithms, exttt{GLRT-CascadeUCB} and exttt{GLRT-CascadeKL-UCB}, are developed and shown to ensure regret upper bounds on the order of $\mathcal{O}(\sqrt{NLT\log{T}})$, where $N$ is the number of piecewise-stationary segments, and $T$ is the number of time slots. At the crux of the proposed algorithms is an almost parameter-free change-point detector, the generalized likelihood ratio test (GLRT). Comparing with existing works, the GLRT-based algorithms: i) are free of change-point-dependent information for choosing parameters; ii) have fewer tuning parameters; iii) improve at least the $L$ dependence in regret upper bounds. In addition, we show that the proposed algorithms are optimal (up to a logarithm factor) in terms of regret by deriving a minimax lower bound on the order of $\Omega(\sqrt{NLT})$ for piecewise-stationary CB. The efficiency of the proposed algorithms relative to state-of-the-art approaches is validated through numerical experiments on both synthetic and real-world datasets.

연구 동기 및 목표

• 실제 웹 검색 및 온라인 광고 환경에서 시간에 따라 변화하는 사용자 선호도를 반영하지 못하는 정적(cascading bandit) 모델의 한계를 해결한다.
• 변화점에 대한 사전 지식 없이도 변화하는 사용자 선호도에 적응할 수 있는 조각별 정적(cascading bandits)에 대한 효율적인 알고리즘을 개발한다.
• 기존 방법에 비해 튜닝 파rameter의 수를 줄이고, 손실 상한선에서 아이템 집합 크기 $L$에 대한 의존성을 향상시킨다.
• 문제에 대한 최소최대 하한선 $\Omega(\sqrt{NLT})$를 유도하고, 제안된 알고리즘이 이 하한선과 거의 일치함을 보여 이론적으로 최적성을 입증한다.
• 합성 및 실세계 데이터셋을 대상으로 광범위한 실험을 통해 제안된 알고리즘의 효과성을 검증한다.

제안 방법

• 사용자 지정 파rameter나 변화점 통계에 대한 지식이 필요 없는 변화점 탐지기로 일반화된 우도 비율 검정(GLRT)을 도입한다.
• GLRT를 UCB 및 KL-UCB 원리와 융합하여, 조각별 정적(cascading bandits)에 적합한 두 알고리즘—GLRT-CascadeUCB와 GLRT-CascadeKL-UCB—를 설계한다.
• GLRT를 사용해 시간 세그먼트 간 사용자 선호도 분포의 변화를 동적으로 탐지하고, 변화가 감지될 경우 정책 재설정을 유도한다.
• UCB 및 KL-UCB 공식을 활용해 아이템의 매력도에 대한 신뢰 구간을 유지하며, 각 변화점 탐지 후에 이를 조정한다.
• 탐색과 세그먼트 간 탐지 지연을 모두 고려한 손실 분석을 통해, 엄밀한 $\mathcal{O}(\sqrt{NLT\log T})$ 상한선을 도출한다.
• 순서화된 목록에서 첫 번째 몇 개의 아이템만 관측되는 조각별 정적(cascading bandits)의 구조를 활용해, 부분 피드백 하에서 효율적인 탐색 전략을 설계한다.

실험 결과

연구 질문

• RQ1 파rameter-free 변화점 탐지 메커니즘이 조각별 정적(cascading bandits) 환경에서의 적응성 향상과 튜닝 부담 감소에 기여할 수 있는가?
• RQ2 기존 방법에 비해 GLRT 기반 탐지 방식은 아이템 집합 크기 $L$에 대한 손실 의존성에서 얼마나 향상되는가?
• RQ3 이론적으로 최소최대 하한선이 존재하는 문제에서 제안된 알고리즘이 거의 최적의 손실 성능을 달성하는가?
• RQ4 합성 및 실세계 데이터에서 GLRT 기반 알고리즘이 최신 기술 대비 실용적으로 어떻게 성능을 발휘하는가?
• RQ5 변화점의 수나 시기 정보 없이도 GLRT는 사용자 선호도 변화를 효과적으로 탐지할 수 있는가?

주요 결과

• 제안된 GLRT-CascadeUCB 및 GLRT-CascadeKL-UCB 알고리즘은 $\mathcal{O}(\sqrt{NLT\log T})$의 손실 상한선을 달성하며, 이는 $\Omega(\sqrt{NLT})$의 최소최대 하한선과 로그 인자 외에는 정확히 일치하여 거의 최적성을 입증한다.
• GLRT 기반 접근은 변화점에 의존하는 파rameter 튜닝이 필요 없어 기존 방법보다 더 실용적이고 강건하다.
• 기존 연구에 비해 손실 상한선에서 $L$에 대한 의존성이 향상되어 기저 집합 크기가 커져도 성능 저하가 적다.
• 합성 및 실세계 데이터셋에 대한 수치 실험 결과, 제안된 알고리즘이 최신 기술 대비 손실과 적응성 측면에서 뛰어난 성능을 보였다.
• GLRT 탐지기는 변화점에 대한 사전 지식 없이도 사용자 선호도 변화를 효과적으로 식별하여, 세그먼트 경계를 사전에 알지 못해도 적시에 정책 업데이트를 가능하게 한다.
• 이론적 분석을 통해 제안된 알고리즘이 로그 인자 외에는 최적임을 확인하여, 비정적 환경에서의 적용에 강력한 이론적 기반을 마련한다.