[논문 리뷰] A Linear Bandit for Seasonal Environments

Giuseppe Di Benedetto, Vito Bellini외 1명|arXiv (Cornell University)|2020. 04. 28.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 4

한 줄 요약

이 논문은 비정상적이고 계절적인 환경에서 급격한 변화를 감지하고 이전의 정상 상태에서의 지식을 활용하여 학습 효율을 향상시키는, 전이성(All-Season)이라는 문맥적 선형 밴디트 알고리즘을 제안한다. 여러 기반 밴디트 학습기들을 유지하면서 최근 성능에 따라 동적으로 가중치를 부여함으로써, 합성 및 실세계 추천 작업 모두에서 최신 기술(SOTA) 알고리즘을 능가한다. 특히 반복적인 계절 패턴이 존재하는 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Contextual bandit algorithms are extremely popular and widely used in recommendation systems to provide online personalised recommendations. A recurrent assumption is the stationarity of the reward function, which is rather unrealistic in most of the real-world applications. In the music recommendation scenario for instance, people's music taste can abruptly change during certain events, such as Halloween or Christmas, and revert to the previous music taste soon after. We would therefore need an algorithm which can promptly react to these changes. Moreover, we would like to leverage already observed rewards collected during different stationary periods which can potentially reoccur, without the need of restarting the learning process from scratch. A growing literature has addressed the problem of reward's non-stationarity, providing algorithms that could quickly adapt to the changing environment. However, up to our knowledge, there is no algorithm which deals with seasonal changes of the reward function. Here we present a contextual bandit algorithm which detects and adapts to abrupt changes of the reward function and leverages previous estimations whenever the environment falls back to a previously observed state. We show that the proposed method can outperform state-of-the-art algorithms for non-stationary environments. We ran our experiment on both synthetic and real datasets.

연구 동기 및 목표

• 음악 스트리밍과 같은 실세계 응용에서 비현실적인 정상적인 보상 함수를 가정하는 기존의 문맥적 밴디트 알고리즘의 한계를 해결한다.
• 보상 패턴이 갑작스럽게 변화하고 시간이 지남에 따라 반복되는 비정상적이고 계절적인 보상 함수의 과제를 해결한다.
• 이전에 학습된 정상 상태를 재사용함으로써, 보상 함수가 재등장할 경우 다시 학습을 처음부터 시작하지 않고도 변화에 효율적으로 적응할 수 있도록 한다.
• 변화 포인트를 감지하고 반복되는 환경에서의 역사적 데이터를 활용함으로써 실세계 추천 시스템의 성능을 향상시킨다.
• 대규모이고 동적인 추천 플랫폼에서의 산업적 구현에 적합한 강건하고 확장 가능한 알고리즘 개발

제안 방법

• 보상 함수의 고유한 정상 상태 각각에 대해 훈련된 기반 밴디트 학습기들의 집합을 유지한다.
• 최근 관측치가 각 기반 학습기의 해당 정상 상태에서 유래되었을 가능성에 기반해 각 기반 학습기에 동적 가중치를 할당한다.
• 단기 기억 밴디트를 사용하여 이전에 본 적이 없는 보상 상태로의 전환을 감지하고, 새로운 기반 학습기를 생성하도록 유도한다.
• 모델 잘못 지정에 대한 강건성을 향상시키기 위해 사후 예측 가중치 계산에 일반 베이즈 접근법을 사용한다.
• 모듈러하고 확장 가능한 설계를 가능하게 하기 위해 어떤 기반 알고리즘(예: 선형 톰슨 샘플링)과도 통합할 수 있다.
• 계산 비용을 관리하기 위해 정리 전략을 적용하며, 베이지안 코어 세트를 통해 향후 개선이 가능하다.

실험 결과

연구 질문

• RQ1 기존에 관측된 정상 상태에서의 지식을 재사용하면서도, 보상 함수의 급격한 변화를 효과적으로 감지할 수 있는 문맥적 밴디트 알고리즘이 존재하는가?
• RQ2 계절 패턴을 활용하는 모델의 성능가 최신 기술(SOTA) 비정상 밴디트 알고리즘과 실세계 및 합성 환경에서 비교해 볼 때 어떻게 되는가?
• RQ3 보상 함수가 재등장할 경우, 다시 학습을 처음부터 시작하지 않음으로써 회귀와 탐색 비용을 얼마나 줄일 수 있는가?
• RQ4 복잡한 실세계 환경에서 모델 잘못 지정과 변화 포인트 감지 오류에 대해 알고리즘이 얼마나 강건한가?
• RQ5 단기 기억 메커니즘의 통합이 이전에 관측되지 않은 보상 상태를 감지하는 데에 기여하는가?

주요 결과

• All-Season (Disc)는 MNIST와 Fashion-MNIST 데이터셋의 모든 설정에서 기준선(예: SW-LinTS, D-LinTS)을 모두 능가했으며, MNIST 이중 암호 작업에서 평균 보상은 정상 설정 시 0.77 ± 0.01, 현실적인 설정 시 0.74 ± 0.02, 극단적 설정 시 0.77 ± 0.01을 기록했다.
• 숫자 인식 작업에서 All-Season (Disc)는 정상 설정에서 평균 보상 0.74 ± 0.01을 기록했으며, 이는 SW-LinTS(0.36 ± 0.00)와 DenBand(0.33 ± 0.00)를 크게 앞섰다.
• 아이템 인식 작업에서 All-Season (Disc)는 정상 설정에서 평균 보상 0.49 ± 0.02를 유지했으며, 이는 SW-LinTS(0.35 ± 0.01)와 BoB(0.32 ± 0.00)를 능가했다.
• All-Season (Disc) 버전은 All-Season (SW) 버전보다 항상 뛰어난 성능을 보였으며, 이는 이산적 가중치 부여 메커니즘이 계절 적응에 있어 슬라이딩 윈도우 기반 가중치보다 더 효과적임을 시사한다.
• 극단적이고 현실적인 설정에서도 All-Season은 뛰어난 강건성과 안정성을 보였으며, 기준선 대비 성능 저하가 최소에 그쳤다.
• 급격하고 반복적인 변화가 존재하는 환경에서 알고리즘이 뚜렷한 성능 향상을 보였으며, 명절 기간의 음악 추천과 같은 실세계 계절 환경에서 효과적임을 입증했다.