[논문 리뷰] Adaptive Multiple-Arm Identification

Jiecao Chen, Xi Chen외 2명|arXiv (Cornell University)|2017. 06. 04.

Mobile Crowdsensing and Crowdsourcing참고 문헌 13인용 수 7

한 줄 요약

이 논문은 집합적 손실을 고려한 스토하스틱 다항 보상 밴딧 환경에서 상위-K 암을 식별하기 위한 적응형 알고리즘을 제안하며, 문제의 고유한 난이도를 반영하는 새로운 인스턴스에 의존하는 딱지 매개변수를 도입하여 샘플 복잡도를 크게 향상시킨다. 제안된 AdaptiveTopK 알고리즘은 각 인스턴스의 난이도에 적응하여, 인스턴스에 독립적인 하한선에 log(ε⁻¹) 요소를 제외하고 거의 최적의 성능을 달성한다.

ABSTRACT

We study the problem of selecting $K$ arms with the highest expected rewards in a stochastic $n$-armed bandit game. This problem has a wide range of applications, e.g., A/B testing, crowdsourcing, simulation optimization. Our goal is to develop a PAC algorithm, which, with probability at least $1-δ$, identifies a set of $K$ arms with the aggregate regret at most $ε$. The notion of aggregate regret for multiple-arm identification was first introduced in \cite{Zhou:14} , which is defined as the difference of the averaged expected rewards between the selected set of arms and the best $K$ arms. In contrast to \cite{Zhou:14} that only provides instance-independent sample complexity, we introduce a new hardness parameter for characterizing the difficulty of any given instance. We further develop two algorithms and establish the corresponding sample complexity in terms of this hardness parameter. The derived sample complexity can be significantly smaller than state-of-the-art results for a large class of instances and matches the instance-independent lower bound upto a $\log(ε^{-1})$ factor in the worst case. We also prove a lower bound result showing that the extra $\log(ε^{-1})$ is necessary for instance-dependent algorithms using the introduced hardness parameter.

연구 동기 및 목표

• 최소한의 샘플 복잡도로 높은 확률(1−δ)로 ϵ-상위-K 암 세트를 식별하는 PAC 알고리즘을 개발하기 위해.
• 암의 평균 간격의 구조에 기반하여 상위-K 암을 식별하는 데 필요한 본질적 난이도를 반영하는 새로운 딱지 매개변수를 도입하기 위해.
• 관측된 데이터에 따라 샘플링을 동적으로 조정하는 적응형 알고리즘을 설계하여 비적응형 방법(예: OptMAI)보다 성능을 향상시키기 위해.
• 기존 작업보다 훨씬 작은 샘플 복잡도를 가지는 날카운 인스턴스에 의존하는 샘플 복잡도 상한선을 도출하기 위해.
• 제안된 딱지 매개변수를 사용하는 인스턴스에 의존하는 알고리즘에서 샘플 복잡도에 포함된 log(ε⁻¹) 요소가 필수적임을 보여주는 하한선을 증명하기 위해.

제안 방법

• 암의 평균 간격과 신뢰 수준에 기반해 상위-K 암을 나머지 암들과 구분하는 데 필요한 난이도를 측정하는 새로운 딱지 매개변수 H^(t,ε)를 도입하기 위해.
• 딱지 매개변수에 기반한 동적 거부/수용 규칙을 사용하는 적응형 샘플링 전략인 AdaptiveTopK(알고리즘 1)를 설계하기 위해.
• Hoeffding의 부등식을 사용한 순차적 가설 검정을 통해 암의 잘못된 분류 확률을 제한하기 위해.
• 신뢰도가 높을 경우 병렬적으로 여러 암을 동시에 수용 또는 거부할 수 있도록 내부 루프에서 그룹 기반 샘플링 전략을 적용하기 위해.
• 새로운 딱지 매개변수를 사용하여 샘플 복잡도 상한선을 유도하며, 최악의 경우 가정 대신 인스턴스별 간격에 의존하는 의존성을 보여주기 위해.
• 알고리즘의 최적성은 인스턴스에 독립적인 하한선과 일치함을 보여주는, 일치하는 인스턴스에 의존하는 하한선을 증명하기 위해.

실험 결과

연구 질문

• RQ1 상위-K 암 식별을 위한 적응형 알고리즘을 설계할 수 있을까? 이는 비적응형 방법보다 훨씬 더 나은 인스턴스에 의존하는 샘플 복잡도를 달성할 수 있을까?
• RQ2 평균 간격과 신뢰 수준에 기반해 상위-K 암 식별의 본질적 난이도를 반영할 수 있는 적절한 딱지 매개변수는 무엇인가?
• RQ3 기존의 인스턴스에 독립적인 상한선과 비교해, 새로운 딱지 매개변수에 기반한 샘플 복잡도는 어떻게 척도가 변하는가?
• RQ4 제안된 딱지 매개변수를 사용하는 인스턴스에 의존하는 알고리즘에서 샘플 복잡도에 포함된 log(ε⁻¹) 요소는 필수적인가?
• RQ5 제안된 알고리즘이 다양한 데이터 분포와 K 값에 걸쳐 최신 기술인 CLUCB-PAC 및 OptMAI를 능가할 수 있는가?

주요 결과

• 제안된 AdaptiveTopK 알고리즘은 모든 테스트 데이터셋에서 CLUCB-PAC 및 OptMAI를 능가하며, K가 크거나 암들이 잘 분리되어 있을 경우 특히 두각을 나타낸다.
• TwoGroup 데이터셋의 경우, 내부 while 루프를 통해 일괄 분류를 빠르게 수행할 수 있어 잘 분리된 상위 암을 신속하게 식별할 수 있기 때문에 다른 알고리즘보다 뚜렷한 성능 향상을 보인다.
• K가 증가함에 따라 딱지 매개변수 H^(t,ε)가 감소하여 샘플 복잡도가 향상되며, 이는 AdaptiveTopK가 OptMAI에 비해 점점 더 큰 이점을 확보할 수 있음을 설명한다.
• 암들이 상위-K 기준선에 가까운 경우나 잘 분리되어 있을 경우를 포함한 광범위한 인스턴스 클래스에서, 기존 최신 기술보다 엄밀히 작은 인스턴스에 의존하는 샘플 복잡도를 달성한다.
• 이론적 샘플 복잡도는 인스턴스에 독립적인 하한선에 log(ε⁻¹) 요소를 제외하고 거의 일치하며, 최악의 경우 근사 최적성을 보여준다.
• 제안된 딱지 매개변수를 사용하는 모든 인스턴스에 의존하는 알고리즘에서 log(ε⁻¹) 요소가 필수적임을 보여주는 하한선이 증명되어 분석의 날카로움을 확인한다.