[논문 리뷰] Sequential Test for the Lowest Mean: From Thompson to Murphy Sampling

Emilie Kaufmann, Wouter M. Koolen외 1명|arXiv (Cornell University)|2018. 06. 04.

Machine Learning and Algorithms인용 수 13

한 줄 요약

이 논문은 최소 평균이 임계값 이하이거나 초과하는지 효율적으로 테스트하기 위한 새로운 순차적 샘플링 전략인 Murphy Sampling을 제안한다. 최악의 경우 상황(µ∗ < γ)에 조건을 두어 Thompson Sampling을 조정함으로써, 강제 탐색 없이도 낮은 진짜 최소값과 높은 진짜 최소값 모두에서 최적의 샘플링 행동을 달성하며, 조기 정지가 가능한 고급 자기정규화 편차 부등식을 개발한다. 이 방법은 δ-정확하며 기존 방법들보다 경험적으로 뛰어난 성능을 보인다.

ABSTRACT

Learning the minimum/maximum mean among a finite set of distributions is a fundamental sub-task in planning, game tree search and reinforcement learning. We formalize this learning task as the problem of sequentially testing how the minimum mean among a finite set of distributions compares to a given threshold. We develop refined non-asymptotic lower bounds, which show that optimality mandates very different sampling behavior for a low vs high true minimum. We show that Thompson Sampling and the intuitive Lower Confidence Bounds policy each nail only one of these cases. We develop a novel approach that we call Murphy Sampling. Even though it entertains exclusively low true minima, we prove that MS is optimal for both possibilities. We then design advanced self-normalized deviation inequalities, fueling more aggressive stopping rules. We complement our theoretical guarantees by experiments showing that MS works best in practice.

연구 동기 및 목표

• 유한한 분포 집합의 최소 평균이 주어진 임계값 이하이거나 초과하는지 효율적이고 신뢰성 있게 판단하는 문제를 다루는 것.
• 강제 탐색에 의존하지 않고 샘플 복잡도를 최소화하는 δ-정확한 순차적 테스트 알고리즘을 개발하는 것.
• 낮은 진짜 최소값과 높은 진짜 최소값 상황에서의 순차적 최소 평균 테스트에 대한 최적의 샘플링 배정을 규명하는 것.
• 지수족에 대해 자기정규화 편차 부등식을 기반으로 한 새로운 정지 기준을 설계하여 최소값이 낮을 경우 조기 탐지가 가능하도록 하는 것.
• 경험적으로 Murphy Sampling이 Thompson Sampling 및 Lower Confidence Bound 정책보다 실생활에서 샘플 효율성과 정지 시간 측면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 최악의 가정(µ∗ < γ)에 조건을 두어 동작하는 Thompson Sampling의 변종인 Murphy Sampling을 제안하며, 진짜 최소값에 따라 동적으로 샘플링 행동을 적응시킨다.
• 비점근적 낮은 하한을 도출하여, µ∗ < γ와 µ∗ > γ의 경우에 서로 다른 근본적인 최적 샘플링 전략이 존재함을 밝힌다.
• 지수족에 대해 새로운 자기정규화 편차 부등식(정리 7)을 도입하여, 더 공격적이고 조기에 정지를 가능하게 하는 데 기여한다.
• 모든 암호에서의 증거를 통합하는 집합 정지 기준을 설계하여, 최소값이 낮을 경우 조기에 종료를 유도한다.
• 일반화된 LPSample 프레임워크를 사용해 최적의 샘플링 배정을 유도하지만, 강제 탐색을 피함으로써 이를 개선한다.
• 마팅게일 기반의 농도 부등식과 라멘트 W 함수를 활용해 정지 기준의 임계값 함수에 대한 날카운 상한을 유도한다.

실험 결과

연구 질문

• RQ1 순차적 최소 평균 테스트에 대한 최적의 샘플링 배정 전략은 무엇이며, µ∗ < γ와 µ∗ > γ의 경우에 어떻게 다를까?
• RQ2 강제 탐색 없이도 낮은 진짜 최소값과 높은 진짜 최소값의 두 상황 모두에서 최적성을 달성할 수 있는 단일 샘플링 규칙가 존재하는가?
• RQ3 지수족에 대해 자기정규화 편차 부등식을 어떻게 구성할 수 있으며, 이를 통해 순차적 테스트에서 조기 정지를 가능하게 할 수 있는가?
• RQ4 δ-정확한 순차적 최소 평균 테스트에 필요한 최소 샘플 복잡도는 얼마인가?
• RQ5 Murphy Sampling은 샘플 효율성과 정지 시간 측면에서 경험적으로 Thompson Sampling 및 Lower Confidence Bound 정책보다 어떻게 비교되는가?

주요 결과

• Thompson Sampling이나 Lower Confidence Bound 정책은 오직 한 경우에서만 최적성을 달성하는 데 반해, Murphy Sampling은 µ∗ < γ와 µ∗ > γ의 두 상황 모두에서 최적의 샘플링 행동을 달성한다.
• 제안된 자기정규화 편차 부등식은 가우시안 및 비균일 설정에서의 이전 결과를 일반화하여 더 날카우며 공격적인 정지 기준을 가능하게 한다.
• 집합 정지 기준은 δ-정확성을 보장하며, 최소값이 낮을 경우 조기 정지를 가능하게 하여 이러한 경우의 기대 샘플 크기를 크게 줄인다.
• 이론적 분석을 통해 샘플 복잡도의 하한이 점근적 최적성 외에도 중간 위험 행동을 반영함을 밝혔다.
• 경험적 결과는 Murphy Sampling이 샘플 효율성과 결정 속도 측면에서 항상 Thompson Sampling 및 Lower Confidence Bound 정책을 능가함을 보여준다.
• 이 방법은 강제 탐색을 피함으로써 품질 관리, 온라인 학습, 이상 탐지와 같은 실생활 응용 분야에서 더 실용적이고 효율적인 성능을 발휘한다.