[논문 리뷰] Time-Sensitive Bandit Learning and Satisficing Thompson Sampling

Daniel Russo, David Tse외 1명|arXiv (Cornell University)|2017. 04. 28.

Advanced Bandit Algorithms Research참고 문헌 6인용 수 6

한 줄 요약

이 논문은 시간에 민감한 밴디트 알고리즘인 만족형 톰슨 샘플링(Satisficing Thompson Sampling, STS)을 소개한다. 이 알고리즘은 누적 손실이 아닌 할인된 손실을 최적화하여, 최적 행동을 식별하는 데 비용이 많이 들 때 빠르게 근사 최적 행동에 수렴하도록 설계되었다. 또한, 비율-왜곡 이론을 활용한 새로운 정보이론적 손실 경계를 수립하여, STS가 표준 톰슨 샘플링과 UCB보다 한계가 짧고 성능이 뛰어난 행동을 보이는 것을 입증한다.

ABSTRACT

The literature on bandit learning and regret analysis has focused on contexts where the goal is to converge on an optimal action in a manner that limits exploration costs. One shortcoming imposed by this orientation is that it does not treat time preference in a coherent manner. Time preference plays an important role when the optimal action is costly to learn relative to near-optimal actions. This limitation has not only restricted the relevance of theoretical results but has also influenced the design of algorithms. Indeed, popular approaches such as Thompson sampling and UCB can fare poorly in such situations. In this paper, we consider discounted rather than cumulative regret, where a discount factor encodes time preference. We propose satisficing Thompson sampling -- a variation of Thompson sampling -- and establish a strong discounted regret bound for this new algorithm.

연구 동기 및 목표

• 짧은 수명 주기와 높은 불확실성의 환경에서 표준 밴디트 알고리즘이 시간 선호도와 조기 성능을 우선시하지 못하는 한계를 해결한다.
• 최적 행동을 식별하는 데 비용이 많이 들 때, 톰슨 샘플링과 UCB의 비효율성을 극복한다.
• 시간 선호도와 부분 정보를 고려한 할인된 손실을 분석하기 위한 이론적 프레임워크를 개발한다.
• 최적 행동이 아닌 근사 최적 행동에 집중함으로써 조기 성능을 향상시키기 위해 수정된 톰슨 샘플링 알고리즘을 제안한다.
• 만족형 행동을 식별하는 데 있어 정보의 가치를 정량화하기 위해 비율-왜곡 이론을 사용한 손실 경계를 수립한다.

제안 방법

• ε-최적 기준에 가까운 행동을 기반으로 샘플링하는 표준 톰슨 샘플링의 변종인 만족형 톰슨 샘플링(STS)을 제안한다.
• 시간 선호도를 모델링하기 위해 할인 인자 α ∈ (0,1)를 사용하며, 문제를 기대 할인 손실 최소화로 재정의한다.
• 비율-왜곡 이론을 적용하여 정보 비율을 경계하고, 충분히 좋은 행동을 식별할 수 있는 능력과 정보의 가치를 연결한다.
• 기준 행동 Â를 첫 번째 ε-최적 행동으로 정의하고, 그 엔트로피 H(Â|ξ)를 사용해 불확실성과 정보 획득을 정량화한다.
• 정보 비율 Γ(Â, {At})를 사용한 일반 손실 경계를 유도하며, 이는 정보 획득과 손실 간의 트레이드오���을 측정한다.
• 무한 수의 액션을 가진 두 가지 변형인 결정론적 보상과 노이즈 있는 관측에 대해 일반 경계를 적용하여 명시적인 손실 표현식을 도출한다.

실험 결과

연구 질문

• RQ1 밴디트 알고리즘은 어떻게 재설계되어야 하며, 비현실적인 점진적 최적화 대신 조기 성능과 시간 선호도를 우선시할 수 있는가?
• RQ2 최적 행동을 식별하는 데 어려움이 있거나 비용이 많이 들 때, 톰슨 샘플링의 이론적 성능은 어떠한가?
• RQ3 비율-왜곡 이론을 사용하여 근사 최적 행동을 식별하는 데 있어 정보의 가치를 반영하는 방식으로 손실을 경계할 수 있는가?
• RQ4 제한된 수명 주기 조건에서, Satisficing Thompson Sampling은 표준 톰슨 샘플링과 UCB에 비해 할인된 손실 측면에서 어떻게 비교되는가?
• RQ5 사전 지식과 관측 노이즈는 최적 성능이 아닌 만족형 성능을 추구하는 알고리즘의 손실에 어떤 영향을 미치는가?

주요 결과

• 결정론적 무한 수의 밴디트에서, STS는 ε = √((1−α)/2)일 때 할인 손실 경계 √(2/(1−α))를 달성하여 시간 할인 조건 하에서도 뛰어난 성능을 보인다.
• 행동가가 ε-최적일 확률이 δ인 노이즈 있는 무한 수의 밴디트에서, STS는 손실 경계 Õ(ε/(1−α) + √(1/(δ(1−α²))))를 달성하여 사전 지식에 따라 확장 가능함을 보여준다.
• 손실 경계는 첫 번째 ε-최적 행동의 엔트로피 H(Â|ξ)에 비례하며, 이는 만족형 행동을 학습하는 데 있어 불확실성을 반영한다.
• 최적 행동을 학습하는 데 비용이 많이 들 때, 특히 조기 시간 단계에서 STS는 표준 톰슨 샘플링과 UCB보다 뚜렷이 뛰어난 성능을 보인다.
• 비율-왜곡 이론을 활용한 정보이론적 프레임워크는 시간에 민감한 의사결정과 손실 압축 간의 체계적인 연결고리를 제공하며, 더 날카운 손실 경계를 가능하게 한다.
• 일반 손실 경계는 결정론적 및 노이즈 있는 관측 모델 모두에서 유효하며, 각 경우에 대해 명시적인 표현식이 도출되었다.