[논문 리뷰] Connections Between Mirror Descent, Thompson Sampling and the Information Ratio

Julian Zimmert, Tor Lattimore|arXiv (Cornell University)|2019. 05. 28.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 8

한 줄 요약

이 논문은 정보 비용 비율(정보 이론적 분석)과 미러 디센트(MD) 간의 공식적 연결을 수립하여, 톰슨 샘플링(Thompson Sampling)의 베이지안 리그레트 한계가 온라인 스토하스틱 미러 디센트(OSMD) 도구를 통해 유도될 수 있음을 보여준다. $k$-armed 밴딧에 대해 정보 이론적 리그레트 한계를 충족하는 수정된 톰슨 샘플링 알고리즘을 제안하며, 이는 이전의 OSMD 한계 대비 $\frac{1}{2}$ 요소의 개선을 이끌어내고, $\pi$-볼과 그래프 피드백 밴딧의 리그레트를 향상시킨다.

ABSTRACT

The information-theoretic analysis by Russo and Van Roy (2014) in combination with minimax duality has proved a powerful tool for the analysis of online learning algorithms in full and partial information settings. In most applications there is a tantalising similarity to the classical analysis based on mirror descent. We make a formal connection, showing that the information-theoretic bounds in most applications can be derived from existing techniques for online convex optimisation. Besides this, for $k$-armed adversarial bandits we provide an efficient algorithm with regret that matches the best information-theoretic upper bound and improve best known regret guarantees for online linear optimisation on $\ell_p$-balls and bandits with graph feedback.

연구 동기 및 목표

• 정보 이론적 분석(정보 비용 비율 통한)과 온라인 스토하스틱 미러 디센트(OSMD) 간의 공식적 연결을 수립하기 위해.
• $k$-armed 밴딧에서 베이지안 리그레트 한계와 OSMD 리그레트 한계 사이의 지속적인 두 배 차이의 원인을 설명하기 위해.
• 정보 이론적 상한에 맞는 구축형이고 효율적인 알고리즘을 개발하여 악성 $k$-armed 밴딧에 대해 성능을 높이기 위해.
• 통합 프레임워크를 사용하여 $\ell_p$-볼에서의 온라인 선형 최적화와 그래프 피드백 밴딧에 대한 리그레트 보장을 향상시키기 위해.
• 미러 디센트 연결을 통해 베이지안 분석 기법을 악성 온라인 학습으로 이관할 수 있도록 하기 위해.

제안 방법

• OSMD와 동일한 샘플링 전략을 사용하지만 베이지안 업데이트 규칙을 적용하여, 하이브리드 알고리즘을 구성하는 방식으로 톰슨 샘플링을 재구성하기.
• 정보 비용 비율을 유계화하기 위해 OSMD 안정성 분석 도구를 적용하여, 고전적 볼록 해석학과 정보 이론적 리그레트 한계를 연결하기.
• 미니맥스 이중성과 Bregman 산란 기반 정보 수확을 사용하여 리그레트 한계를 도출하며, 특정 잠재 함수 하에서 OSMD와의 동치성을 보여주기.
• 차원에 영향을 받지 않는 리그레트를 달성하기 위해 조각별 구조를 가진 새로운 잠재 함수 $F(x) = \sum_i h(x_i)$ 를 설계하기.
• 그래프 피드백 밴딧에 적합한 수정된 손실 추정기 $E_t(x,a)$ 를 도입하여 정보 수확 추정을 향상시키기.
• 학습률 및 파라미터(예: $\alpha = 1 - 1/\log k$) 를 조정하여 다양한 설정에서 리그레트 한계를 최적화하기.

실험 결과

연구 질문

• RQ1 정보 이론적 한계와 OSMD 스타일 분석이 $k$-armed 밴딧에서 거의 동일한 리그레트 한계를 도출하는 이유는 무엇인가요?
• RQ2 정보 이론적 분석이 비구성적 한계와 실용적 알고리즘 사이의 격차를 메우기 위해 효율적인 OSMD 알고리즘을 구축하는 데 사용될 수 있나요?
• RQ3 악성 밴딧에서 베이지안 리그레트와 OSMD 리그레트 사이의 지속적인 두 배의 차이의 근본 원인은 무엇인가요?
• RQ4 정보 이론적 프레임워크를 사용하여 $\ell_p$-볼에서의 온라인 선형 최적화에 대한 리그레트 한계를 향상시킬 수 있나요?
• RQ5 정보 비용 비율 분석을 그래프 피드백 밴딧에 적응시켜 로그 항의 의존도를 줄일 수 있나요?

주요 결과

• 미러 디센트와 정보 이론적 분석 간의 공식적 연결이 수립되었으며, OSMD 안정성 도구가 정보 비용 비율을 유계화하는 데 사용될 수 있음을 보여주었다.
• $k$-armed 밴딧에서 베이지안 리그레트와 OSMD 리그레트 사이의 두 배 차이가 완전히 설명되고 해결되었으며, 리그레트 한계 $\mathfrak{R}_n \leq \sqrt{2kn} + O(k)$ 를 달성하여 정보 이론적 상한과 일치시켰다.
• 그래프 피드백 밴딧의 경우 리그레트가 $\log n$ 요소만큼 향상되었으며, 어려운 케이스에서 $\mathcal{O}(\sqrt{\mathcal{G}_{\text{ind}} n \log(k)^3})$ 의 성능을 달성하였다.
• $p \in [1,2]$ 인 $\ell_p$-볼에서의 온라인 선형 최적화에 대해, 새로운 잠재 함수는 이전 결과 대비 임의로 큰 상수 요소의 리그레트 감소를 이끌어냈다.
• 새로운 $k$-armed 밴딧 알고리즘은 효율적이며, 알려진 최상의 정보 이론적 상한과 일치시켰으며, 문헌에서 오랫동안 지속된 격차를 해결하였다.
• 통합 프레임워크를 통해 베이지안 리그레트 분석 기법을 악성 온라인 학습으로 이관할 수 있었으며, 구축형 알고리즘 설계를 위한 새로운 길을 열었다.