[논문 리뷰] Ordinal optimization - empirical large deviations rate estimators, and stochastic multi-armed bandits

Peter W. Glynn, Sandeep Juneja|arXiv (Cornell University)|2015. 07. 16.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 30

한 줄 요약

이 논문은 표준 샘플링 방법 하에서 순서 최적화의 가짜 선택 확률이 지수적으로 빠르게 감소한다는 가정을 도전하며, 유계가 아닌 모집단의 경우 어떤 알고리즘도 $1 - \delta$ 정확도를 $O(\log(1/\delta))$ 시간 내에 보장할 수 없음을 보여준다. 이는 경험적 비율 추정기의 대편차 원리를 수립하고, 이러한 효율적인 알고리즘을 위해 모멘트 제약 조건이 필수적임을 증명한다. 또한 다중 암표 띠드(arm) 밴딧 방법이 유계 모멘트 조건 하에서 $O\left(\log(1/\delta)\right)$ 샘플 복잡도를 달성하도록 적응시킬 수 있음을 보여준다.

ABSTRACT

Consider the ordinal optimization problem of finding a population amongst many with the smallest mean when these means are unknown but population samples can be generated via simulation. Typically, by selecting a population with the smallest sample mean, it can be shown that the false selection probability decays at an exponential rate. Lately researchers have sought algorithms that guarantee that this probability is restricted to a small $\delta$ in order $\log(1/\delta)$ computational time by estimating the associated large deviations rate function via simulation. We show that such guarantees are misleading. Enroute, we identify the large deviations principle followed by the empirically estimated large deviations rate function that may also be of independent interest. Further, we show a negative result that when populations have unbounded support, any policy that asymptotically identifies the correct population with probability at least $1-\delta$ for each problem instance requires more than $O(\log(1/\delta))$ samples in making such a determination in any problem instance. This suggests that some restrictions are essential on populations to devise $O(\log(1/\delta))$ algorithms with $1 - \delta$ correctness guarantees. We note that under restriction on population moments, such methods are easily designed. We also observe that sequential methods from stochastic multi-armed bandit literature can be adapted to devise such algorithms.

연구 동기 및 목표

• 순서 최적화에서 $O(\log(1/\delta))$ 샘플 복잡도로 $1 - \delta$ 정확도를 달성하는 것이 가능한지 조사하기.
• 시뮬레이션 기반 선택에서 경험적으로 추정된 비율 함수의 대편차 행동을 분석하기.
• 유계가 아닌 지지역을 가진 모집단에 대해 $O(\log(1/\delta))$ 알고리즘이 존재하는지 판단하기.
• 순서 최적화와 확률적 다중 암표 띠드(arm) 밴딧 방법 간의 관계 탐색하기.
• 효율적이고 고신뢰도의 선택이 가능한 조건 설정하기.

제안 방법

• 샘플 기반 추정을 통해 경험적으로 추정된 대편차 비율 함수가 따르는 대편차 원리 유도하기.
• 표준 표본 평균 선택 하에서 가짜 선택 확률의 감쇠 속도 분석하여, 유계가 아닌 모집단의 경우 지수 감쇠가 보장되지 않음을 보여주기.
• 부정적 결과 증명: 유계가 아닌 지지역을 가진 모든 인스턴스에서 $1 - \delta$ 정확도를 달성하는 정책은 渐近적으로 $O(\log(1/\delta))$ 샘플을 초과해야 함.
• 모멘트 제약 조건(예: 유계 분산) 하에서 $O(\log(1/\delta))$ 알고리즘이 가능하고, 이를 구성할 수 있음을 증명하기.
• 확률적 다중 암표 띠드(arm) 밴딧 문헌에서 유래한 순차적 샘플링 전략을 적응하여, 유계 모멘트 가정 하에서 효율적이고 고신뢰도의 선택 달성하기.
• 대편차 이론과 농도 부등식을 사용하여 샘플 복잡도와 신뢰도 보장 간의 트레이드오프 수식화하기.

실험 결과

연구 질문

• RQ1 유계가 아닌 모집단 지지역을 가진 순서 최적화에서 $O(\log(1/\delta))$ 샘플 복잡도를 달성할 수 있는가?
• RQ2 시뮬레이션 기반 선택에서 경험적으로 추정된 비율 함수는 어떤 대편차 행동을 보이는가?
• RQ3 모든 유계가 아닌 모집단 인스턴스에서 $1 - \delta$ 정확도를 $O\left(\log(1/\delta)\right)$ 시간 내에 보장할 수 있는가?
• RQ4 어떤 모멘트 조건 하에서 효율적인 $O(\log(1/\delta))$ 알고리즘을 구성할 수 있는가?
• RQ5 다중 암표 띠드(arm) 밴딧 전략은 어떻게 순서 최적화에서 고신뢰도 선택을 달성하도록 적응시킬 수 있는가?

주요 결과

• 유계가 아닌 지지역을 가진 모집단의 경우 어떤 정책도 모든 인스턴스에서 $O(\log(1/\delta))$ 샘플로 $1 - \delta$ 정확도를 달성할 수 없으며, 이는 문헌에서 일반적으로 사용되는 가정을 무효화한다.
• 경험적으로 추정된 대편차 비율 함수는 잘 정의된 대편차 원칙을 따르며, 통계적 학습 분야에서 별도의 관심을 가질 수 있다.
• 유계 모멘트 조건(예: 유계 분산) 하에서는 $1 - \delta$ 정확도 보장을 갖는 $O(\log(1/\delta))$ 알고리즘을 구성할 수 있다.
• 확률적 다중 암표 띠드(arm) 밴딧 이론에서 유래한 순차적 샘플링 방법을 적응하여, 순서 최적화에서 효율적이고 고신뢰도의 선택을 달성할 수 있다.
• 일반적으로 유계가 아닌 모집단의 경우 가짜 선택 확률이 지수적으로 빠르게 감소하지 않으며, 이는 표준 추정기의 신뢰성에 영향을 준다.
• 논문은 유계가 아닌 모집단의 경우 $O(\log(1/\delta))$를 초월하는 샘플 복잡도의 기본 하한을 수립하며, 모멘트 제약 조건의 필수성을 강조한다.