[논문 리뷰] Optimal $δ$-Correct Best-Arm Selection for Heavy-Tailed Distributions

Shubhada Agrawal, Sandeep Juneja외 1명|arXiv (Cornell University)|2019. 08. 24.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 (1+ε)차 모멘트가 유한한 무거운 尾 꼬리 분포에 대해 δ-정확한 최적의 암호 식별 알고리즘을 제안하며, 샘플 복잡도에서 渐近 최적성을 달성한다. 이는 근사적으로 최적의 배치 크기를 갖는 배치 처리를 도입하여 수렴 속도를 높이며, 이전 방법이 지수 가족 분포에 국한되어 있었던 한계를 극복한다.

ABSTRACT

Given a finite set of unknown distributions or arms that can be sampled, we consider the problem of identifying the one with the maximum mean using a $δ$-correct algorithm (an adaptive, sequential algorithm that restricts the probability of error to a specified $δ$) that has minimum sample complexity. Lower bounds for $δ$-correct algorithms are well known. $δ$-correct algorithms that match the lower bound asymptotically as $δ$ reduces to zero have been previously developed when arm distributions are restricted to a single parameter exponential family. In this paper, we first observe a negative result that some restrictions are essential, as otherwise, under a $δ$-correct algorithm, distributions with unbounded support would require an infinite number of samples in expectation. We then propose a $δ$-correct algorithm that matches the lower bound as $δ$ reduces to zero under the mild restriction that a known bound on the expectation of $(1+ε)^{th}$ moment of the underlying random variables exists, for $ε> 0$. We also propose batch processing and identify near-optimal batch sizes to speed up the proposed algorithm substantially. The best-arm problem has many learning applications, including recommendation systems and product selection. It is also a well-studied classic problem in the simulation community.

연구 동기 및 목표

• 지수 가족을 초월한 일반적인 중량 꼬리 분포에 대해 최적의 δ-정확 알고리즘이 부족한 문제를 해결한다.
• 모멘트 제약 조건이 없을 경우 δ-정확 알고리즘이 무한한 기대 샘플 수를 필요로 하므로, 분포 가정이 필수적임을 규명한다.
• 미약한 (1+ε)차 모멘트 조건 하에서 δ→0일 때 정보 이론적 하한선에 도달하는 δ-정확 알고리즘을 제안한다.
• 탐색과 수렴 속도의 균형을 맞추기 위해 log(1/δ) 비례하는 근사 최적의 배치 크기를 갖는 배치 처리 기법을 개발한다.
• 레비 거리(metric)를 사용하여 이전 연구에서의 기술적 오류를 수정한 보다 개선된 농도 분석을 제공한다.

제안 방법

• 더 날카운 농도 부등식을 유도하기 위해 워싱턴 거리 대신 레비 거리를 사용한다.
• ε>0에 대해 (1+ε)차 절대 모멘트가 유계인 모든 분포의 집합 L을 정의한다.
• empirical 평균과 신뢰 구간에 기반해 탐색을 적응적으로 할당하는 순차적 샘플링 알고리즘을 설계한다.
• 샘플링 결정을 배치 단위로 수행하는 배치 처리를 도입하여 계산 오버헤드를 감소시킨다.
• 탐색과 수렴 속도의 균형을 맞추기 위해 배치 크기를 log(1/δ) 비례로 최적화한다.
• 마팅게일 제약 조건 하에서 샘플 비율의 편차를 아즈마-후이딩 부등식으로 제한한다.

실험 결과

연구 질문

• RQ1 δ-정확한 최적의 암 식별에서 유한한 기대 샘플 복잡도를 확보하기 위해 어떤 분포 제약 조건이 필요할까?
• RQ2 유한한 (1+ε)차 모멘트만을 갖는 중량 꼬리 분포에 대해 δ-정확 알고리즘이 渐近 최적성을 달성할 수 있을까?
• RQ3 배치 처리 기법은 어떻게 설계되어야 하며, 이는 渐近 최적성을 유지하면서 계산 효율성을 향상시킬 수 있을까?
• RQ4 이 문제의 농도 분석에서 워싱턴 거리와 레비 거리의 사용에 어떤 영향이 있을까?
• RQ5 이전 연구에서의 기술적 오류—특히 농도 부등식과 측도 변화 분석에서의 오류—는 어떻게 수정할 수 있을까?

주요 결과

• 지지가 무한하고 KL-오른쪽 밀도 성질을 갖는 분포에 대해 어떤 δ-정확 알고리즘도 기대 샘플 수가 무한해야 하므로, 모멘트 제약 조건 없이선 근본적으로 불가능함을 규명한다.
• 제안된 알고리즘은 (1+ε)차 모멘트 조건 하에서 δ→0일 때 샘플 복잡도에서 渐近 최적성을 달성하며, 정보 이론적 하한선과 정확히 일치한다.
• log(1/δ) 비례하는 배치 크기를 갖는 배치 처리 기법은 계산 비용을 감소시키면서도 渐近 최적성을 유지한다.
• 레비 거리를 사용함으로써 더 날카운 농도 부등식을 도출할 수 있었으며, 이는 이전 연구에서 워싱턴 거리를 사용할 경우 존재하던 오류를 수정한다.
• 알고리즘의 오차 확률은 δ 이하로 제한되며, 기대 샘플 복잡도는 로그 인자까지 하한선과 일치한다.
• 수치 분석을 통해 배치 버전이 δ-정확성과 渐近 최적성을 훼손하지 않으면서도 런타임을 크게 감소시킴을 확인하였다.