[논문 리뷰] Rebounding Bandits for Modeling Satiation Effects

Liu Leqi, Fatma Kılınç-Karzan외 2명|arXiv (Cornell University)|2020. 11. 13.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 9

한 줄 요약

이 논문은 시간에 따라 변하지 않는 선형 동적 시스템을 사용하여 사용자 만족도와 복귀 효과를 모델링하는 다중 손잡이 밴딧 프레임워크인 리bounding 밴딧을 소개한다. 이 프레임워크에서는 반복적인 선택에 따라 보상이 감소하고, 한 번 선택되지 않을 경우 회복된다. 제안된 Explore-Estimate-Plan (EEP) 알고리즘은 체계적인 탐색, 동역학 추정, 그리고 학습된 파rameter를 기반으로 한 계획을 통해 하위선형 w-단계 앞서보기 잔여를 달성한다.

ABSTRACT

Psychological research shows that enjoyment of many goods is subject to satiation, with short-term satisfaction declining after repeated exposures to the same item. Nevertheless, proposed algorithms for powering recommender systems seldom model these dynamics, instead proceeding as though user preferences were fixed in time. In this work, we introduce rebounding bandits, a multi-armed bandit setup, where satiation dynamics are modeled as time-invariant linear dynamical systems. Expected rewards for each arm decline monotonically with consecutive exposures to it and rebound towards the initial reward whenever that arm is not pulled. Unlike classical bandit settings, methods for tackling rebounding bandits must plan ahead and model-based methods rely on estimating the parameters of the satiation dynamics. We characterize the planning problem, showing that the greedy policy is optimal when the arms exhibit identical deterministic dynamics. To address stochastic satiation dynamics with unknown parameters, we propose Explore-Estimate-Plan (EEP), an algorithm that pulls arms methodically, estimates the system dynamics, and then plans accordingly.

연구 동기 및 목표

• 만족도 효과로 인해 동적 사용자 선호도를 모델링하지 못하는 추천 시스템의 격차를 보완하기 위해.
• 다중 손잡이 밴딧 설정에서 시간에 따라 변하지 않는 선형 동적 시스템으로서 만족도를 형식화하기 위해.
• 반복 노출로 인한 변화하는 보상 동역학에 대응하기 위해 사전 계획을 수립하고 적응하는 방법을 개발하기 위해.
• 모르는 확률적 만족도 동역학에 대해 잔여와 파라미터 추정에 대한 이론적 보장을 제공하기 위해.
• 실증 평가를 통해 제안된 알고리즘의 효능을 입증하기 위해.

제안 방법

• 각 암의 보상이 연속적인 선택과 마지막 선택 이후 경과 시간에 따라 변화하는 선형 동적 시스템으로 진화하는 리bounding 밴딧 프레임워크를 제안한다.
• 반복적인 선택 후 보상 감소와 정지 상태에서의 회복을 반영하는 결정론적 또는 확률적 선형 시스템으로서 만족도를 모델링한다.
• 먼저 각 암을 탐색하여 데이터를 수집하고, 그 다음 동역학을 추정한 후, 추정된 모델을 기반으로 계획을 수립하는 Explore-Estimate-Plan (EEP) 알고리즘을 도입한다.
• 단일 트레이서젝터리에서 애프린 동적 시스템을 추정하고, 파라미터 식별을 위한 표본 복잡도 한계를 제공한다.
• 상태 공간의 크기가 수평 T에 대해 지수적으로 증가하는 마르코프 결정 과정(MDP)에서 w-단계 앞서보기 계획을 사용한다.
• 보상 및 전이 모델 추정 오차 항을 사용하여 잔여를 근사하고, 하위선형 w-단계 앞서보기 잔여를 입증한다.

실험 결과

연구 질문

• RQ1 다중 손잡이 밴딧 프레임워크는 사용자 만족도와 정지 기간 이후 보상 복귀를 효과적으로 모델링할 수 있는가?
• RQ2 암들이 동일한 결정론적 만족도 동역학을 공유할 경우, 게으른 정책이 최적일 수 있는가?
• RQ3 단일 상호작용 트레이서젝터리로부터 모르는 확률적 만족도 동역학을 정확하게 추정할 수 있는가?
• RQ4 EEP 알고리즘이 모르는 동역학이 존재하는 상황에서 하위선형 잔여를 달성할 수 있는가?
• RQ5 앞서보기 계획은 게으른 정책이나 비계획 기반 전략에 비해 성능을 어떻게 향상시키는가?

주요 결과

• 모든 암이 동일한 결정론적 만족도 동역학을 가질 경우, 최적 전략은 고정된 순서로 암을 순환하는 것이므로 게으른 정책이 최적이다.
• EEP 알고리즘은 하위선형 w-단계 앞서보기 잔여를 달성하며, 적절한 추정 오차 조건 하에서 잔여가 O(T²/√n)로 유계임을 입증한다.
• 애프린 동적 시스템에 대한 추정기는 관측 수와 시스템 차원에 따라 스케일링되는 표본 복잡도 한계를 확보한다.
• 실험 결과, w-단계 앞서보기 정책은 계산 시간을 크게 줄였음에도 불구하고 T-단계 앞서보기 정책과 유사한 누적 기대 보상을 달성한다.
• 24시간 이내에 해결된 T-단계 앞서보기 정책의 최적성 갭 상한은 13.0% (절대 갭 64.0)이며, 이는 뛰어난 실용적 성능를 시사한다.
• 잔여의 로그-로그 플롯은 EEP의 w-단계 앞서보기 잔여가 수평 T에 대해 하위선형으로 증가함을 보여주며, 이는 이론적 잔여 한계를 확인한다.