[논문 리뷰] Optimal Best Markovian Arm Identification with Fixed Confidence

Vrettos Moulos|arXiv (Cornell University)|2019. 12. 02.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

이 논문은 고정된 신뢰도를 갖는 한 파rameter Markovian bandit 모델에서 최적의 암을 식별하기 위한 최초의 인스턴스별 비점근적 하한을 설정한다. Markovian 의존성 하에서 Track-and-Stop 전략을 분석하고, 점근적으로 그 샘플 복잡도가 유도된 하한의 4배 이내임을 증명한다. 또한 지수적 감쇠가 최적이고 상수 계수를 갖는 Markov 체인에 대한 새로운 농도 부등식을 도입한다.

ABSTRACT

We give a complete characterization of the sampling complexity of best Markovian arm identification in one-parameter Markovian bandit models. We derive instance specific nonasymptotic and asymptotic lower bounds which generalize those of the IID setting. We analyze the Track-and-Stop strategy, initially proposed for the IID setting, and we prove that asymptotically it is at most a factor of four apart from the lower bound. Our one-parameter Markovian bandit model is based on the notion of an exponential family of stochastic matrices for which we establish many useful properties. For the analysis of the Track-and-Stop strategy we derive a novel concentration inequality for Markov chains that may be of interest in its own right.

연구 동기 및 목표

• 고정된 신뢰도를 갖는 일 파라미터 Markovian bandit 모델에서 최적의 암 식별의 샘플링 복잡도를 규명하는 것.
• IID 설정에서의 인스턴스별 하한을 더 복잡한 Markovian 의존성 설정으로 일반화하는 것.
• Markovian 과정 하에서 Track-and-Stop 전략의 점근적 성능을 분석하는 것.
• 지수적 감쇠가 최적이고 상수 계수를 갖는 Markov 체인의 경험 평균에 대한 새로운 농도 부등식을 수립하는 것.
• 스토케스틱 다항 암 밴딧의 이론적 기초를 Markov-의존적 암을 포함하도록 확장하여 더 풍부한 모델링을 가능하게 하는 것.

제안 방법

• Markovian 의존성을 포착하기 위해 지수 가족의 확률 행렬을 기반으로 한 일 파라미터 Markovian bandit 모델을 제안한다.
• Markov 체인에 대한 대규모 편차 이론을 사용하여 기대 샘플 복잡도에 대한 인스턴스별 비점근적 및 점근적 하한을 유도한다.
• 원래 IID 설정에 대해 설계된 Track-and-Stop 전략을 Markovian 설정으로 일반화하고, 하한의 4배 이내에서 점근적 최적성을 증명한다.
• 지수적 감쇠가 최적이고 상수 계수를 갖는 Markov 체인의 경험 평균에 대한 새로운 농도 부등식을 도입하며, 이는 이전 연구에서 발견된 다항 계수를 피함으로써 개선된다.
• Chernoff 정지 규칙과 샘플링 전략, 오차 확률 간의 관계를 정립하기 위해 일반화된 Jensen-Shannon 발산의 변동형 특성화를 활용한다.
• Markov 체인의 대수법칙과 새로운 농도 부등식을 사용하여 Track-and-Stop 전략의 점근적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 고정된 신뢰도를 갖는 일 파라미터 Markovian bandit 모델에서 최적의 암 식별에 대한 인스턴스별 샘플링 복잡도 하한은 무엇인가?
• RQ2 Track-and-Stop 전략의 성능은 IID 경우에 비해 Markovian 의존성 하에서 어떻게 떨어지는가?
• RQ3 지수적 감쇠가 최적이고 상수 계수를 갖는 Markov 체인의 경험 평균에 대한 농도 부등식을 유도할 수 있는가?
• RQ4 최적의 암 식별 이론적 프레임워크는 IID에서 Markov-의존적 과정으로 얼마나 넓게 확장될 수 있는가?
• RQ5 Markovian 설정에서 Track-and-Stop 전략의 샘플 복잡도와 정보 이론적 하한 사이의 점근적 간격은 무엇인가?

주요 결과

• 논문은 최적의 Markovian 암 식별에 대한 기대 샘플 복잡도에 대해 비점근적이고 인스턴스별 하한을 설정하였으며, IID 경우를 일반화한다.
• Markovian 설정에서의 Track-and-Stop 전략가 점근적으로 유도된 하한의 4배 이내임을 입증한다.
• 지수적 감쇠가 최적이고 상수 계수를 갖는 Markov 체인의 경험 평균에 대한 새로운 농도 부등식을 증명하였으며, 이는 이전 연구에서 다항 계수를 포함한 것보다 개선된 결과를 얻는다.
• 지수 가족의 확률 행렬을 공식적으로 특성화하고 일 파라미터 Markovian bandit 모델을 모델링하는 데 사용하여 샘플링 복잡도의 엄밀한 분석을 가능하게 한다.
• 분석을 통해 $(\alpha,\delta)$-Track-and-Stop 전략이 Markovian 모델 하에서 $\delta$-PAC (일반적으로 근사적으로 정확함)임을 확인하였으며, 유한한 기대 샘플 복잡도를 갖는다.
• 결과는 스토케스틱 다항 암 밴딧의 이론적 기초를 Markov-의존적 암을 포함하도록 확장하여, 적응형 라우팅 및 임상 시험과 같은 응용 분야에서 더 풍부한 모델링을 가능하게 한다.