[논문 리뷰] Disagreement-Based Combinatorial Pure Exploration: Sample Complexity Bounds and an Efficient Algorithm

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|2017. 11. 21.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 다항식 순수 탐색 문제에서 조합 구조를 활용하여 개선된 샘플 복잡도를 달성하는 불일치 기반 알고리즘을 제안한다. 고정 신뢰도 및 고정 예산 설정 모두에서 최소 최대 최적의 샘플 복잡도를 달성하는 최초의 인터랙티브 알고리즘을 제공하며, 새로운 정규화된 손실 부등식과 효율적인 선형 최적화 오라클을 통해 계산을 수행한다.

ABSTRACT

We design new algorithms for the combinatorial pure exploration problem in the multi-arm bandit framework. In this problem, we are given $K$ distributions and a collection of subsets $\\mathcal{V} \\subset 2^{[K]}$ of these distributions, and we would like to find the subset $v \\in \\mathcal{V}$ that has largest mean, while collecting, in a sequential fashion, as few samples from the distributions as possible. In both the fixed budget and fixed confidence settings, our algorithms achieve new sample-complexity bounds that provide polynomial improvements on previous results in some settings. Via an information-theoretic lower bound, we show that no approach based on uniform sampling can improve on ours in any regime, yielding the first interactive algorithms for this problem with this basic property. Computationally, we show how to efficiently implement our fixed confidence algorithm whenever $\\mathcal{V}$ supports efficient linear optimization. Our results involve precise concentration-of-measure arguments and a new algorithm for linear programming with exponentially many constraints.

연구 동기 및 목표

• 결정 집합 $\mathcal{V}$ 의 조합 구조에 적응하는 인터랙티브 학습 알고리즘을 설계하여, 비인간 기반 대비 샘플 복잡도를 감소시키는 것.
• 모든 설정에서 균일한 샘플링이 제안된 방법을 능가할 수 없음을 보여주는 정보 이론적 하한을 확립하는 것.
• 고정 신뢰도 및 고정 예산 설정에서 비인간 기반 최소 최대 비율보다 나쁘지 않지만, 이질성이 존재할 경우에 크게 향상될 수 있는 효율적인 알고리즘을 개발하는 것.
• 심지어 $\mathcal{V}$ 가 지수적으로 큰 경우에도 다항 시간 계산을 가능하게 하는 선형 최적화 오라클을 활용하는 것.
• 대칭 집합 차이를 기반으로 하는 새로운 정규화된 손실 부등식을 사용하여 정밀한 농도 경계를 제공하는 것, 이는 가설과 최적 해 사이의 대칭 집합 차이에 의존한다.

제안 방법

• 모든 $v \in \mathcal{V}$ 와 최적 해 $v^\star$ 사이의 평균 차이에서의 샘플링 오차를 제어하는 정규화된 손실 부등식을 도입하며, 이는 대칭 집합 차이 $d(v, v^\star)$ 로 스케일링된다.
• 모든 생존 가설이 불일치하는 암호에서만 샘플링하는 에림이니이션 스타일 알고리즘을 설계하여 $v^\star$ 가 결코 제거되지 않도록 보장한다.
• 시간 $t$ 와 $\sqrt{d(v, v^\star)/t}$ 에 비례하는 신뢰 구간 $\epsilon_t'(v^\star, v, \delta)$ 를 사용하며, 고확률 제어를 위해 로그 항을 포함한다.
• 불일치가 발생하는 암호를 식별하기 위해 선형 최적화 오라클을 사용하여 고정 신뢰도 알고리즘을 효율적으로 구현한다.
• 가설을 명시적으로 열거하고 버전 공간의 단조 감소를 강제하는 비효율적이지만 통계적으로 우수한 고정 신뢰도 알고리즘을 구성한다.
• 시간과 가설에 대한 농도 부등식과 유니온 바운드를 활용하여, 높은 확률 $1 - \delta$ 에서 정확성을 증명한다.

실험 결과

연구 질문

• RQ1 조합 순수 탐색을 위한 인터랙티브 알고리즘이 비인간 기반 균일 샘플링보다 항상 나쁘지 않으며, 문제의 이질성이 존재할 경우 더 나은 샘플 복잡도를 달성할 수 있는가?
• RQ2 조합 순수 탐색에서 샘플 복잡도에 대한 본질적인 한계가 존재하는가, 그리고 이는 인터랙티브 알고리즘에 의해 달성될 수 있는가?
• RQ3 결정 집합 $\mathcal{V}$ 가 선형 최적화를 지원할 경우, 고정 신뢰도 설정에서 효율적인 계산이 가능할 수 있는가, 심지어 지수 크기의 집합에 대해서도 말이다?
• RQ4 정규화된 손실 부등식은 표준 균일 수렴 경계에 비해 어떤 점에서 더 날카롭고 적응형인가?
• RQ5 고정 신뢰도 및 고정 예산 설정에서 통계적 효율성과 계산 효율성 사이의 정밀한 트레이드오프는 무엇인가?

주요 결과

• 논문은 비인간 기반 균일 샘플링의 최소 최대 최적 샘플 복잡도를 확립하여, 어떤 균일 샘플링 전략도 이 기준을 능가할 수 없음을 보였다.
• 제안된 고정 신뢰도 알고리즘은 비인간 기반 최소 최대 비율보다 나쁘지 않으며, 이질성이 존재할 경우 다항식적으로 더 나은 샘플 복잡도를 달성한다.
• 비효율적인 고정 신뢰도 알고리즘은 이전 작업보다 엄밀히 더 나은 샘플 복잡도를 보이며, 각 암호 $a$ 에 대해 $O(H_a^{(1)} \log t + H_a^{(2)})$ 의 경계를 가지며, 여기서 $H_a^{(1)}$ 과 $H_a^{(2)}$ 는 문제에 따라 결정되는 상수이다.
• 고정 예산 알고리즘은 평균 벡터 $\mu$ 에 이질성이 존재할 경우 최대 우도 추정(MLE)보다 개선되어 샘플 복잡도를 감소시킨다.
• 정규화된 손실 부등식은 대칭 차이 $v$ 와 $v^\star$ 가 작을 경우 표준 균일 수렴 경계보다 더 날카로운 농도 제어를 가능하게 한다.
• 높은 확률 농도 경계를 통해 이론적 보장을 입증하였으며, 정확성은 시간과 가설 전역에서 일관되게 유지되는 $1 - \delta$ 사건 하에서 보장된다.