[논문 리뷰] Sample complexity of partition identification using multi-armed bandits

Sandeep Juneja, Subhashini Krishnasamy|arXiv (Cornell University)|2018. 11. 14.

Machine Learning and Algorithms참고 문헌 17인용 수 5

한 줄 요약

이 논문은 단일 매개변수 지수족에서 유래한 K개의 확률 분포로 이루어진 벡터의 정확한 분할을 특정하는 데 필요한 표본 복잡도를 다루며, 다중 암반 밴딧 샘플링을 사용한다. 기하학적 구조(예: 반평면, 다면체, 볼록 집합 등)에 기반한 문제 의존적 하한을 도출하고, 임계값 기반 정지 규칙을 갖춘 D-Tracking 샘플링 규칙을 제안하며, 오류 확률 δ→0일 때 알고리즘의 점근적 최적성을 증명한다.

ABSTRACT

Given a vector of probability distributions, or arms, each of which can be sampled independently, we consider the problem of identifying the partition to which this vector belongs from a finitely partitioned universe of such vector of distributions. We study this as a pure exploration problem in multi armed bandit settings and develop sample complexity bounds on the total mean number of samples required for identifying the correct partition with high probability. This framework subsumes well studied problems such as finding the best arm or the best few arms. We consider distributions belonging to the single parameter exponential family and primarily consider partitions where the vector of means of arms lie either in a given set or its complement. The sets considered correspond to distributions where there exists a mean above a specified threshold, where the set is a half space and where either the set or its complement is a polytope, or more generally, a convex set. In these settings, we characterize the lower bounds on mean number of samples for each arm highlighting their dependence on the problem geometry. Further, inspired by the lower bounds, we propose algorithms that can match these bounds asymptotically with decreasing probability of error. Applications of this framework may be diverse. We briefly discuss one associated with finance.

연구 동기 및 목표

• 높은 확률로 K차원 평균 벡터의 정확한 분할을 식별하기 위해 필요한 최소 기대 표본 수를 특성화하는 것.
• 기존 순수 탐색 밴딧 프레임워크를 최적의 암호나 상위 r개의 암호 선택을 넘어서 일반적인 분할 식별 문제로 확장하는 것.
• 분할 집합의 기하학적 구조에 따라 달라지는 문제 의존적이고 날카운 하한을 도출하는 것.
• 단일 매개변수 지수족 가정 하에 이 하한과 점근적으로 일치하는 δ-PAC 알고리즘을 설계하는 것.
• D-Tracking 샘플링 규칙과 로그 스케일링 표본 복잡도를 갖는 임계값 기반 정지 규칙을 통해 수렴성과 정확성을 보장하는 것.

제안 방법

• 분할 식별(PI) 문제를 다중 암반 밴딧에서의 순수 탐색 과제로 공식화하며, 목표는 진짜 평균 벡터가 포함된 유한한 수의 서로소 집합 중 어느 것인지 식별하는 것이다.
• Garivier와 Kaufmann(2016)의 운반 불평등을 사용하여 표본 복잡도 하한 문제를 무한한 수의 제약 조건을 가진 제약 최적화 문제로 변환한다.
• 각 암호의 분포가 단일 매개변수 지수족에 속한다고 가정할 때, 임계값 초과, 반평면, 다면체, 볼록 집합 등의 특정 기하학적 설정에서 하한 문제를 해결한다.
• 최적의 샘플링 비율을 유지하기 위해 표본을 적응적으로 할당하고, 수치가 낮을 경우 강제 샘플링을 통해 충분한 탐색을 보장하는 D-Tracking 샘플링 규칙을 제안한다.
• Kullback-Leibler 발산 임계값을 기반으로 한 정지 규칙을 적용: 잘못된 분할의 경계까지의 경험적 발산이 t와 δ에 대해 로그 스케일링 임계값을 초과할 경우 정지한다.
• 기대 정지 시간 T_U(δ)가 lim sup_{δ→0} E[T_U(δ)] / log(1/δ) ≤ T*(μ)를 만족함을 보여 점근적 최적성을 증명한다. 여기서 T*(μ)는 유도된 하한이다.

실험 결과

연구 질문

• RQ1 다중 암반 밴딧 설정에서 높은 확률로 정확한 분할을 식별하기 위해 필요한 표본 수의 기본 하한은 무엇인가?
• RQ2 반평면, 다면체, 또는 볼록 집합과 같은 분할 집합의 기하학적 구조는 분할 식별의 표본 복잡도에 어떤 영향을 미치는가?
• RQ3 다양한 분할 구조에 대해 유도된 하한과 점근적으로 일치하는 δ-PAC 알고리즘을 설계할 수 있는가?
• RQ4 어떤 샘플링 및 정지 규칙이 표본 복잡도 측면에서 δ-PAC 보장을 보장하면서도 점근적 최적성을 달성하는가?
• RQ5 하한 문제의 최적 샘플링 분포가 유일한 해를 갖는 조건은 무엇이며, 이는 알고리즘 설계에 어떤 영향을 미치는가?

주요 결과

• 임계값 초과 문제의 경우, 진짜 평균 벡터가 최대 평균이 임계값을 초과하는 집합에 있는지 여부에 따라 표본 복잡도 하한이 본질적으로 비대칭성을 띤다.
• 임계값 초과, 반평면, 다면체 설정에서 하한 문제를 명시적으로 해결하였으며, 최적의 샘플링 비율은 분할 경계의 기하학적 구조에 의해 결정된다.
• 분할 경계가 닫힌 볼록 집합의 매끄러운 점이라면, 하한 문제의 최적 해는 유일하며, 이는 알고리즘의 점근적 최적성을 가능하게 한다.
• 제안된 알고리즘은 점근적 최적성을 달성한다: lim sup_{δ→0} E[T_U(δ)] / log(1/δ) ≤ T*(μ), 여기서 T*(μ)는 정보 이론적 하한이다.
• D-Tracking 샘플링 규칙은 각 암호가 충분히 자주 샘플링되도록 보장하며(Ω(√t)), t가 증가함에 따라 경험적 샘플링 비율이 최적 비율로 수렴한다.
• 정지 규칙은 β(t,δ) = log(ct/δ)로 정의된 임계값을 기반으로 하며, 잘못된 분할의 경계까지의 경험적 발산을 비교함으로써 δ-PAC 정확성을 보장한다.