[논문 리뷰] An Information-Theoretic Analysis for Thompson Sampling with Many Actions

Shi Dong, Benjamin Van Roy|arXiv (Cornell University)|2018. 05. 30.

Advanced Bandit Algorithms Research인용 수 24

한 줄 요약

이 논문은 많은 행동을 가진 밴딧 문제에 대해 톰슨 샘플링의 정보이론적 분석을 새롭게 제안하며, 행동 수에 의존하지 않는 더 날카운 감소하는 경계를 달성하기 위해 엔트로피 기반의 손실 경계를 비율-왜곡 프레임워크로 대체한다. 선형 밴딧에 대해 $O(d\sqrt{T\log T})$의 베이지안 손실 경계를 확립하고, 로지스틱 함수의 급격함이 증가함에 따라 감소하는 경계를 도출하여 기존의 모델 파라미터에 따라 악화되는 결과를 개선한다.

ABSTRACT

Information-theoretic Bayesian regret bounds of Russo and Van Roy capture the dependence of regret on prior uncertainty. However, this dependence is through entropy, which can become arbitrarily large as the number of actions increases. We establish new bounds that depend instead on a notion of rate-distortion. Among other things, this allows us to recover through information-theoretic arguments a near-optimal bound for the linear bandit. We also offer a bound for the logistic bandit that dramatically improves on the best previously available, though this bound depends on an information-theoretic statistic that we have only been able to quantify via computation.

연구 동기 및 목표

• 행동 집합 크기에 따라 증가하는 엔트로피 기반의 기존 정보이론적 손실 경계의 한계를 해결하기 위해, 행동 집합 크기에 의존하지 않는 더 견고한 측정법을 도입한다.
• 정보 확보와 손실 간의 상충관계를 더 잘 반영하기 위해, 비율-왜곡 이론에 기반한 새로운 분석 프레임워크를 개발한다.
• 행동 수가 증가함에도 효과적인 유지가 가능한 선형 및 일반화된 선형 밴딧에 대해 더 날카운 베이지안 손실 경계를 도출한다.
• 로지스틱 밴딧에서 기존 경계가 로지스틱 함수가 더 급격해질수록 악화되는, 직관에 어긋나는 스케일링 문제를 해결한다. 이는 더 쉽게 학습 가능한 상황임에도 불구하고 발생한다.
• 이론적 경계와 계산적 증거를 통해 새로운 프레임워크를 검증하며, 특히 정보 비율에 대한 추측이 경험적으로 지지되는 로지스틱 밴딧 케이스에서 검증한다.

제안 방법

• 로저스와 반 로이의 분석에서 사용된 엔트로피 기반 사전 불확실성 측정법을 비율-왜곡 기반의 불확실성 개념으로 대체한다. 이는 최적 행동을 근사하기 위해 필요한 최소 정보를 측정한다.
• 비율-왜곡 이론을 적용하여, 큰 행동 집합에 대해 더 견고하고 문제의 학습 난이도를 더 잘 반영하는 사전 불확실성의 새로운 측정법을 정의한다.
• 엔트로피가 아닌 비율-왜곡 함수에 의존하는 새로운 정보 비율 분석을 통해 손실 경계를 유도한다. 이는 고차원 및 큰 행동 집합 환경에서 개선된 스케일링을 이끈다.
• 선형 밴딧의 경우 기하학적 커버링 추론과 비율-왜곡 원리에 기반한 정보 비율의 경계를 이용하여 $O(d\sqrt{T\log T})$의 손실 경계를 달성한다.
• 로지스틱 밴딧의 경우 비율-왜곡 함수의 특성에 기반해, 로지스틱 함수의 급격함 파라미터 $\beta$가 증가함에 따라 감소하는 손실 경계를 도출한다. 이는 톰슨 샘플링의 정보 비율에 대한 추측에 기반하며, 계산적 실험으로 검증된다.
• 행동 및 파라미터 공간의 계층적 분할을 $\ell_2$-노름 커버링을 사용하여 구현함으로써 최적 행동 집합의 복잡도를 제어하고 비율-왜곡 측정법에 대한 날카운 경계를 유도한다.

실험 결과

연구 질문

• RQ1 엔트로피를 통한 행동 집합 크기 의존성으로 인해 발생하는 정보이론적 손실 경계의 한계를, 단순한 원소 수가 아닌 학습 난이도를 반영하는 더 견고한 측정법으로 대체할 수 있는가?
• RQ2 비율-왜곡 기반 분석이 엔트로피 기반 경계에 비해 선형 밴딧에서 톰슨 샘플링의 더 날카운 손실 경계를 도출할 수 있는가?
• RQ3 기존의 로지스틱 밴딧 경계가 로지스틱 함수가 더 급격해질수록 악화되는 이유는 무엇이며, 새로운 정보이론적 프레임워크로 이를 수정할 수 있는가?
• RQ4 로지스틱 밴딧에서 톰슨 샘플링의 정보 비율을 어떻게 특성화할 수 있으며, 이로 인해 모델의 결정성 증가에 따라 손실 경계가 향상되는가?
• RQ5 제안된 비율-왜곡 프레임워크는 큰 또는 연속적인 행동 공간을 가진 다른 일반화된 선형 밴딧 문제에 일반화 가능한가?

주요 결과

• 논문은 $d$차원 선형 밴딧에 대해 $O(d\sqrt{T\log T})$의 베이지안 손실 경계를 확립하였으며, 이는 이전의 $O(d\sqrt{T\log T})$ 경계보다 날카우며 행동 수에 대한 의존성을 제거한다.
• 로저스와 반 로이(2016)의 정보이론적 경계인 $O(\sqrt{dTH(A^*)})$보다도 개선되었으며, 최적 행동의 엔트로피에 대한 명시적 의존성을 제거하였다.
• 로지스틱 밴딧의 경우, 급격함 파라미터 $\beta$가 증가함에 따라 경계가 감소하며, 고정된 $T$에 대해 $2d\sqrt{T\log 3}$로 수렴함을 보였다. 이는 이전 연구에서 나타난 직관에 어긋나는 스케일링 문제를 해결한다.
• 분석은 로지스틱 밴딧 설정에서 톰슨 샘플링의 정보 비율에 대한 추측에 기반하며, 이는 계산적 실험으로 지지되지만 아직 분석적으로 증명되지 않았다.
• 비율-왜곡 프레임워크는 엔트로피보다 더 세밀한 사전 불확실성 측정법을 제공하며, 특히 고차원 또는 연속 행동 공간에서 효과적이다.
• 유도된 경계는 $\Omega(d\sqrt{T})$ worst-case 손실 하한선에 대해 $O(\sqrt{\log T})$ 요소 내에 있으며, 선형 밴딧 설정에서 거의 최적임을 시사한다.