[논문 리뷰] MOTS: Minimax Optimal Thompson Sampling

Tianyuan Jin, Pan Xu외 3명|arXiv (Cornell University)|2020. 03. 03.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 8

한 줄 요약

이 논문은 각 암에 대한 이력적 뽑기 횟수를 기반으로 샘플링 인스턴스를 적응적으로 클리핑하는 새로운 테크닉인 MOTS(Minimax Optimal Thompson Sampling)를 제안한다. 이 클리핑 메커니즘을 통해 MOTS는 다항 보상 밴딧 문제에서 $O(\sqrt{KT})$의 최소최대 최적의 손실 한계를 달성하며, 밴딧 이론에서 오랫동안 미해결로 남아 있던 문제를 해결하고, 유한 시간 및 渐近적 영역 모두에서 이전의 테크닉보다 뛰어난 성능을 보인다.

ABSTRACT

Thompson sampling is one of the most widely used algorithms for many online decision problems, due to its simplicity in implementation and superior empirical performance over other state-of-the-art methods. Despite its popularity and empirical success, it has remained an open problem whether Thompson sampling can match the minimax lower bound $Ω(\sqrt{KT})$ for $K$-armed bandit problems, where $T$ is the total time horizon. In this paper, we solve this long open problem by proposing a variant of Thompson sampling called MOTS that adaptively clips the sampling instance of the chosen arm at each time step. We prove that this simple variant of Thompson sampling achieves the minimax optimal regret bound $O(\sqrt{KT})$ for finite time horizon $T$, as well as the asymptotic optimal regret bound for Gaussian rewards when $T$ approaches infinity. To our knowledge, MOTS is the first Thompson sampling type algorithm that achieves the minimax optimality for multi-armed bandit problems.

연구 동기 및 목표

• K-암 밴딧 문제에 대해 테크닉 샘플링이 최소최대 최적의 손실 한계 $\Omega(\sqrt{KT})$를 달성할 수 있는지 여부라는 오랜 동안 미해결이었던 문제를 해결하기 위해.
• 일반적인 보상 분포 하에서 동시에 최소최대 최적성과 渐近적 최적성을 달성하는 테크닉 샘플링 변형을 설계하기 위해.
• 정규 분포 사전 분포를 가진 테크닉 샘플링에 대한 이전의 하한값이 비정규 분포 사전 분포에서는 반드시 성립하지 않는다는 것을 보여주기 위해.
• 클리핑 기반 메커니즘에 대한 이론적 보장을 제공하여 단순성이나 경험적 성능을 희생시키지 않고도 손실 한계를 향상시키기 위해.

제안 방법

• 각 암에 대해 뽑힌 횟수에 기반해 샘플된 보상 값을 적응적으로 클리핑하는 테크닉 샘플링 변형인 MOTS를 도입한다.
• 샘플링 분산을 제어하고 과다 탐색을 방지하기 위해 뽑기 횟수의 역제곱근 비례로 클리핑 임계값을 설정한다.
• 일반적인 보상 분포 하에서 손실 한계를 유도하기 위해 서브-가우시안 및 레일라이히 유사 尾尾 분포 기반의 새로운 분석 프레임워크를 사용한다.
• 정규 분포 보상 설정에서 클리핑된 레일라이히 분포 샘플을 사용하는 변형인 MOTS-$\mathcal{J}$를 도입하여 최소최대 최적성과 渐近적 최적성을 동시에 달성한다.
• 고확률 영역에서 기대 손실을 제어하기 위해 $\mathcal{J}$ 분포의 농도 부등식과 꼬리 확률 한계를 활용한다.
• 유한 시간 및 무한 시간 영역 성분으로 분해하여 손실 한계를 유도하며, 샘플링 확률 격차를 신중하게 다룬다.

실험 결과

연구 질문

• RQ1 테크닉 샘플링을 수정하여 끝없는 시간 다항 보상 밴딧 문제에서 최소최대 최적의 손실 한계 $O(\sqrt{KT})$를 달성할 수 있는가?
• RQ2 비정규 분포 사전 분포를 사용할 경우, 이전에 정규 분포 사전 분포에 대해 확립된 $\Omega(\sqrt{KT\log K})$ 하한값이 여전히 성립하는가?
• RQ3 단일 알고리즘이 다항 보상 밴딧 설정에서 동시에 최소최대 최적성과 渐近적 최적성을 달성할 수 있는가?
• RQ4 적응적 클리핑이 테크닉 샘플링의 샘플링 분포와 최종 손실에 어떤 영향을 미치는가?

주요 결과

• MOTS는 문제 독립적 손실 한계 $O(\sqrt{KT})$를 달성하며, K-암 밴딧 문제의 최소최대 하한값 $\Omega(\sqrt{KT})$와 정확히 일치한다.
• 정규 분포 보상의 경우, MOTS-$\mathcal{J}$ 변형은 최소최대 최적의 손실과 渐近적 최적성을 동시에 달성하여 이전 결과를 향상시킨다.
• 비정규 분포 사전 분포를 사용할 경우, 정규 분포 사전 분포에 대한 $\Omega(\sqrt{KT\log K})$ 하한값은 일반적으로 성립하지 않는다.
• 제안된 클리핑 메커니즘은 샘플링 분산을 효과적으로 제어하고 과다 탐색을 방지하여 더 날카운 손실 한계를 이룬다.
• 경험적 결과는 MOTS가 UCB, MOSS, 정규 분포 사전 분포를 가진 표준 테크닉 샘플링을 포함한 최신 기술보다 뛰어난 성능을 보임을 보여준다.
• 이론적 분석은 클리핑 전략이 끝없는 시간 및 渐近적 영역 모두에서 상수 요소를 제외하고 최적의 손실 한계를 이룬다는 것을 확인한다.