[논문 리뷰] Quantum exploration algorithms for multi-armed bandits

Daochen Wang, Xuchen You외 2명|arXiv (Cornell University)|2020. 07. 14.

Quantum Computing Algorithms and Architecture참고 문헌 61인용 수 5

한 줄 요약

이 논문은 보상 확률을 양자 진폭으로 인코딩한 공명 양자 오라클에 대한 액세스를 사용하여 다중 암드 밴딧에서 최상의 암드 식별을 위한 양자 알고리즘을 제안한다. 변수 시간 진폭 증폭과 추정을 활용함으로써, 알고리즘은 $\tilde{O}\bigl(\sqrt{\sum_{i=2}^{n}\Delta^{-2}_{i}}\bigr)$의 질의 복잡도를 달성하며, 최고의 고전적 알고리즘 대비 제곱근 수준의 양자 가속을 제공한다. 이는 다항로그 요소를 제외한 최적의 양자 하한과 일치한다.

ABSTRACT

Identifying the best arm of a multi-armed bandit is a central problem in bandit optimization. We study a quantum computational version of this problem with coherent oracle access to states encoding the reward probabilities of each arm as quantum amplitudes. Specifically, we show that we can find the best arm with fixed confidence using $ ilde{O}\bigl(\sqrt{\sum_{i=2}^nΔ^{\smash{-2}}_i}\bigr)$ quantum queries, where $Δ_{i}$ represents the difference between the mean reward of the best arm and the $i^ ext{th}$-best arm. This algorithm, based on variable-time amplitude amplification and estimation, gives a quadratic speedup compared to the best possible classical result. We also prove a matching quantum lower bound (up to poly-logarithmic factors).

연구 동기 및 목표

• 공명 양자 오라클 액세스 하에 다중 암드 밴딧에서 최상의 암드 식별 문제에 대한 양자 가속을 확립하기 위해.
• 고정된 신뢰도 하에서 양자 환경에서 최상의 암드를 식별하는 데 필요한 질의 복잡도를 분석하기 위해.
• 질의 복잡도 측면에서 고전적 방법 대비 제곱근 개선을 달성하는 알고리즘을 개발하기 위해.
• 유사한 하한이 존재함을 증명하여 제안된 알고리즘이 다항로그 요소를 제외한 최적임을 확인하기 위해.

제안 방법

• 알고리즘은 최상의 암드와 다른 암드 간의 차이 $\Delta_i = p_1 - p_i$ 를 기반으로 변수 시간 진폭 증폭을 사용하여 최상의 암드의 진폭을 효율적으로 증폭한다.
• 고전적 샘플링보다 더 적은 질의로 보다 정밀하게 보상 확률 $p_i$ 를 추정하기 위해 양자 진폭 추정을 활용한다.
• 양자 오라클 $\mathcal{O}$ 는 보상 확률을 양자 진폭으로 공명적으로 액세스할 수 있게 하여 모든 암드에 대한 초월 상태를 가능하게 한다.
• 실제 구현에서 흔한 '잡음' 상태가 오라클에 포함되더라도 알고리즘이 강인하도록 설계되었다.
• 질의 복잡도의 상한을 유도하기 위해 코시-슈바르츠 부등식과 진폭 차이의 경계 분석에 의존한다.
• 상태 구분 문제로의 감소를 통해 양자 하한을 증명하였으며, 이는 알고리즘이 다항로그 요소를 제외한 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 공명 오라클 액세스 하에 양자 알고리즘이 다중 암드 밴딧에서 최상의 암드 식별에 대해 증명 가능한 가속을 달성할 수 있는가?
• RQ2 고정된 신뢰도 하에서 최상의 암드를 식별하는 데 최적의 양자 질의 복잡도는 무엇인가?
• RQ3 최상의 암드와 다른 암드 간의 간격 $\Delta_i$ 가 증가함에 따라 양자 알고리즘의 성능은 어떻게 변화하는가?
• RQ4 제안된 양자 알고리즘은 최적인지, 아니면 질의 복잡도 측면에서 더 향상시킬 수 있는가?
• RQ5 오라클이 계산 과정에서 '잡음' 상태를 도입하더라도 양자 가속이 유지되는가?

주요 결과

• 제안된 양자 알고리즘은 $\tilde{O}\bigl(\sqrt{\sum_{i=2}^{n}\Delta^{-2}_{i}}\bigr)$ 의 질의 복잡도를 달성하며, 이는 최고의 고전적 알고리즘 대비 제곱근 수준의 가속을 의미한다.
• 유사한 하한이 존재함을 증명한 결과, 알고리즘은 다항로그 요소를 제외한 최적임을 입증한다. 즉, $\Omega\bigl(\sqrt{\sum_{i=2}^{n}\Delta^{-2}_{i}}\bigr)$ 의 양자 하한이 존재한다.
• 실제 구현에서 흔한 '잡음' 상태가 보조 레지스터에 도입되더라도 알고리즘이 강인함을 입증하였다.
• 분석 결과, 보상 확률의 유한한 변동이 존재하더라도 간격 $\Delta_i$ 가 0에서 멀리 떨어져 있다면 양자 가속이 유지됨을 보여주었다.
• 결과적으로, 양자 알고리즘이 밴딧 피드백에 기반한 활성 학습 및 추천 시스템의 성능을 크게 향상시킬 수 있음을 시사한다.
• 이 프레임워크는 유사한 오라클 모델에 의존하는 클러스터링 및 강화 학습을 위한 기존 양자 알고리즘의 가속화에 적용될 수 있다.