[논문 리뷰] Pure Exploration of Multi-armed Bandit Under Matroid Constraints

Lijie Chen, Anupam Gupta외 1명|arXiv (Cornell University)|2016. 05. 23.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 11

한 줄 요약

이 논문은 표본 수를 최소화하면서 매트로이드 제약 조건 하에 확률적 다익음 밴드잇에서 최대 무게 기반을 식별하는 데 거의 최적의 알고리즘을 제안한다. 정확한 및 PAC(Probably Approximately Correct) 형태 모두에서 거의 최적의 표본 복잡도를 달성하며, 최상위-k 및 최적 암 식별 문제를 일반화한다.

ABSTRACT

We study the pure exploration problem subject to a matroid constraint (Best-Basis) in a stochastic multi-armed bandit game. In a Best-Basis instance, we are given $n$ stochastic arms with unknown reward distributions, as well as a matroid $\mathcal{M}$ over the arms. Let the weight of an arm be the mean of its reward distribution. Our goal is to identify a basis of $\mathcal{M}$ with the maximum total weight, using as few samples as possible. The problem is a significant generalization of the best arm identification problem and the top-$k$ arm identification problem, which have attracted significant attentions in recent years. We study both the exact and PAC versions of Best-Basis, and provide algorithms with nearly-optimal sample complexities for these versions. Our results generalize and/or improve on several previous results for the top-$k$ arm identification problem and the combinatorial pure exploration problem when the combinatorial constraint is a matroid.

연구 동기 및 목표

• 가능한 해가 매트로이드 구조로 제약을 받는 경우 확률적 다익음 밴드잇에서 순순수 탐색 문제를 다루는 것.
• 기존의 최적 암 및 최상위-k 암 식별 결과를 더 넓은 매트로이드 제약 조건 설정으로 일반화하는 것.
• 최대 무게 기반을 고려 확률적으로 높은 확률로 식별할 수 있도록 가능한 한 적은 표본 수를 사용해 알고리즘을 설계하는 것.
• 정확한 및 PAC 형태의 문제에 대해 거의 최적의 표본 복잡도 경계를 제공하는 것.
• 기존의 조합적 순순수 탐색 연구를 매트로이드 제약 조건으로 확장하여, 카디널리티 및 파artition 제약 조건을 일반화하는 것.

제안 방법

• 두 단계 알고리즘 제안: 신뢰 구간을 사용한 반복적인 열악한 암 제거 후, 최종 보정 단계에서 단순 표본 추출 전략을 적용.
• 계속해서 후보 암 집합을 줄이며 고확률 정확성을 유지하는 재귀적 제거 절차를 활용.
• Hoeffding의 부등식에 기반한 신뢰 구간을 사용해 최적 기반에 포함될 가능성이 낮은 암을 제거.
• 최종 단계에서 고정된 Naïve-II 알고리즘의 변형을 사용한 정교한 표본 추출 전략을 적용해 고확률 정확성을 확보.
• 모든 제거 라운드와 최종 단계에 대한 유니온 바운드를 적용하여 표본 복잡도를 유도하며, 실패 확률과 랭크에 대해 로그적 의존성을 활용.
• 각 단계에서의 라운드 수, 후보 집합 크기, 오류 확률 분석을 통해 표본 복잡도에 대한 이론적 경계를 유도.

실험 결과

연구 질문

• RQ1 매트로이드 제약 조건이 있는 다익음 밴드잇 환경에서 최대 무게 기반을 식별하는 데 거의 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 표본 복잡도는 암의 수, 매트로이드의 랭크, 그리고 원하는 신뢰 수준에 따라 어떻게 변화하는가?
• RQ3 제안된 알고리즘이 최상위-k 및 최적 암 식별에 대한 기존 결과를 통합된 매트로이드 프레임워크 내에서 일반화할 수 있는가?
• RQ4 순순수 탐색에서 표본 효율성과 매트로이드 제약 조건의 구조 간의 상호 교환 관계는 어떠한가?
• RQ5 이론적 경계가 이 문제 유형에 대해 알려진 하한과 비교하여 어떻게 되는가?

주요 결과

• PAC 형태의 경우, 알고리즘이 $ O\big{(}n(1 + \ln\delta^{-1}/k) + (\ln\delta^{-1} + k)(\ln k\ln\ln k + \ln\delta^{-1}\ln\ln\delta^{-1})\big{)}\varepsilon^{-2} \big{)} $ 의 표본 복잡도를 달성하며, 이는 거의 최적이다.
• 정확한 형태의 경우, 알고리즘이 $ 1 - \delta $ 이상의 확률로 정확한 최적 기반을 반환하며, $ n \leq 10k $ 이거나 $ \ln\delta^{-1} > k\ln(n/k) $ 일 때 표본 복잡도는 $ O\big{(}n(1 + \ln\delta^{-1}/k)\varepsilon^{-2}\big{)} $ 로 경계된다.
• 이 알고리즘은 최상위-k 암 식별 및 매트로이드 제약 조건 하에서의 조합적 순순수 탐색에 대한 이전 결과를 일반화하고 개선한다.
• 분석 결과 표본 복잡도는 실패 확률 $ \delta $ 에 대해 로그적으로 증가하고, 암의 수 $ n $ 에 대해 선형적으로 증가하지만, 매트로이드의 랭크 $ k $ 에 대해 비선형적으로 증가한다.
• 반복적으로 평균 보상에서 신뢰도가 낮은 암을 제거함으로써 고확률로 $ \varepsilon $-최적성을 확보한다.
• 최종 단계에서는 작은 잔여 집합에 대해 정교한 표본 추출 전략을 적용하여 최종 해가 정확하고 표본 효율적임을 보장한다.