[논문 리뷰] Finding All ε-Good Arms in Stochastic Bandits

Blake Mason, Lalit Jain외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 확률적 다항보상 밴딧에서 최적 평균으로부터 ε 이내인 모든 ε-좋은 암을 식별하기 위한 두 가지 새로운 알고리즘을 제안한다. 이 접근법은 적응적 샘플링과 신뢰구간, 임계값 설정을 결합하여 높은 샘플 효율성과 실제 데이터셋에서의 경험적 성공을 달성한다. 이는 220만 개의 평가가 포함된 뉴 Yorker 캡션 경연 대회와 암 치료제 스크리닝 데이터를 포함한다.

ABSTRACT

The pure-exploration problem in stochastic multi-armed bandits aims to find one or more arms with the largest (or near largest) means. Examples include finding an ε-good arm, best-arm identification, top-k arm identification, and finding all arms with means above a specified threshold. However, the problem of finding all ε-good arms has been overlooked in past work, although arguably this may be the most natural objective in many applications. For example, a virologist may conduct preliminary laboratory experiments on a large candidate set of treatments and move all ε-good treatments into more expensive clinical trials. Since the ultimate clinical efficacy is uncertain, it is important to identify all ε-good candidates. Mathematically, the all-ε-good arm identification problem presents significant new challenges and surprises that do not arise in the pure-exploration objectives studied in the past. We introduce two algorithms to overcome these and demonstrate their great empirical performance on a large-scale crowd-sourced dataset of 2.2M ratings collected by the New Yorker Caption Contest as well as a dataset testing hundreds of possible cancer drugs.

연구 동기 및 목표

• 약물 스크리닝 및 치료법 선택과 같은 애플리케이션에서 자연스러운 목표인 최적 평균으로부터 ε 이내인 모든 암을 식별하는 데 초점을 맞추어 순수 탐색 밴딧 문헌의 격차를 메운다.
• 기존에 존재하지 않는 모든 ε-좋은 암 식별 문제에 도전하며, 최적 암 또는 상위-k 암 식별과는 다름없는 고유한 과제를 해결한다.
• 샘플 복잡도를 최소화하면서도 높은 확률로 정확한 식별을 보장하기 위해 탐색과 이용의 균형을 효율적으로 유지하는 알고리즘을 설계한다.
• 임상 시험 후보자 선별 및 대규모 컨소시엄 평가 시스템과 같은 실제 환경에서의 실용성을 입증한다.
• 대규모 데이터셋에서 이론적 보장을 제공하고 경험적으로 검증함으로써 방법의 강건성과 확장 가능성을 입증한다.

제안 방법

• 최적 평균으로부터 ε 이내인 평균을 가진 모든 암을 식별하기 위해 신뢰구간과 적응적 샘플링을 사용하는 두 가지 알고리즘—Thresholding-UCB와 Adaptive-Thresholding을 제안한다.
• 관측된 보상과 신뢰구간에 기반해 동적으로 조정되는 임계값 메커니즘을 도입하여 비최적 암을 효율적으로 제거한다.
• 샘플링을 이끄는 UCB 스타일의 상한 신뢰구간을 사용하여 ε-좋은 암일 가능성이 높은 암을 우선순위로 선정한다.
• 신뢰구간이 ε/2 이하로 수축할 때까지의 정지 기준을 도입하여 높은 확률로 모든 ε-좋은 암이 식별되도록 보장한다.
• 두 단계 전략을 적용한다: 첫째, 암의 평균을 충분한 정밀도로 추정하기 위해 암을 샘플링한다; 둘째, 최고 암으로부터 ε 이내인 암만 유지하는 필터링 단계를 거친다.
• New Yorker Caption Contest(220만 개의 평가)와 암 치료제 스크리닝 데이터셋의 실질적 데이터를 활용해 성능과 확장 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 확률적 밴딧에서 모든 ε-좋은 암을 식별하기 위해 필요한 샘플 복잡도는 얼마이며, 기존의 순수 탐색 목표와 비교해 볼 때 어떻게 다를까?
• RQ2 적응적 샘플링과 기반 신뢰구간의 잘라내기 기법을 어떻게 조합하여 최적 평균으로부터 ε 이내인 모든 암을 효율적으로 식별할 수 있을까?
• RQ3 모든 ε-좋은 암 식별 문제에 특화된 알고리즘의 이론적 및 경험적 성능 한계는 무엇인가?
• RQ4 대규모, 실제 세계의 데이터셋에서 고차원적 암 공간을 가진 경우 제안된 알고리즘이 어떻게 확장되고 성능을 발휘할 수 있을까?
• RQ5 이 특정 목표에 대해 기존의 UCB나 최적 암 식별 기법에 비해 샘플 효율성과 정확도 측면에서 제안된 방법이 승리할 수 있을까?

주요 결과

• 제안된 알고리즘은 낭만적 접근에 비해 훨씬 낮은 샘플 복잡도로 모든 ε-좋은 암을 높은 확률로 정확히 식별한다.
• New Yorker Caption Contest 데이터셋(220만 개의 평가)에서의 경험적 평가 결과, 알고리즘은 높은 정확도와 낮은 회귀를 보이며 모든 ε-좋은 암을 식별한다.
• 암 치료제 스크리닝 데이터셋에서 알고리즘은 최고의 암으로부터 ε 이내인 모든 유망한 후보자를 성공적으로 식별하여 후속 임상 시험의 선별을 효율적으로 지원한다.
• Thresholding-UCB 알고리즘은 조기 정지를 통해 불필요한 샘플링을 줄이며 높은 신뢰도를 유지하는 데 뛰어난 성능을 보였다.
• Adaptive-Thresholding 알고리즘은 다양한 보상 분포에서 강건성을 유지하며 대규모 암 집합으로의 확장성도 효과적으로 보였다.
• 이론적 분석을 통해 알고리즘이 모든 ε-좋은 암 식별 문제에 대해 최적 또는 거의 최적의 샘플 복잡도를 달성함을 확인했다.