[논문 리뷰] Disagreement-based combinatorial pure exploration: Efficient algorithms and an analysis with localization

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|2017. 11. 21.

Machine Learning and Algorithms참고 문헌 26인용 수 6

한 줄 요약

이 논문은 다중 손잡이 밴드잇 문제에서 조합적 순수 탐색을 위한 효율적인 알고리즘을 제안하며, 이는 불일치 기반 탐색과 선형 최적화를 활용하여 고정된 예산 및 고정된 신뢰도 설정에서 최신 기술 수준의 샘플 복잡도를 달성한다. 이 방법은 정확한 농도 경계와 대규모 선형 프로그래밍 문제를 해결하기 위한 새로운 방법을 사용하여 매칭과 부분행렬과 같은 복잡한 구조에서 최적의 성능을 달성할 수 있다.

ABSTRACT

We design new algorithms for the combinatorial pure exploration problem in the multi-arm bandit framework. In this problem, we are given K distributions and a collection of subsets $\mathcal{V} \subset 2^K$ of these distributions, and we would like to find the subset $v \in \mathcal{V}$ that has largest cumulative mean, while collecting, in a sequential fashion, as few samples from the distributions as possible. We study both the fixed budget and fixed confidence settings, and our algorithms essentially achieve state-of-the-art performance in all settings, improving on previous guarantees for structures like matchings and submatrices that have large augmenting sets. Moreover, our algorithms can be implemented efficiently whenever the decision set V admits linear optimization. Our analysis involves precise concentration-of-measure arguments and a new algorithm for linear programming with exponentially many constraints.

연구 동기 및 목표

• 최소한의 샘플 복잡도로 다중 손잡이 밴드잇 문제에서 조합적 순수 탐색을 위한 효율적인 알고리즘을 설계하기.
• 순차적 샘플링 제약 조건 하에서 분포 집합에서 최적의 부분집합을 식별하는 문제에 도전하기.
• 매칭과 부분행렬과 같은 구조적 결정 집합에 대해 기존의 보장을 향상시키기.
• 결정 집합 V에서의 효율적 선형 최적화를 통해 실용적 구현을 가능하게 하기.
• 농도 측정 이론적 분석과 지수 제약 선형 프로그래밍을 사용한 정교한 이론적 분석 제공하기.

제안 방법

• 알고리즘은 현재 최고의 부분집합을 향상시킬 가능성이 높은 암호를 우선순위로 정렬하는 불일치 기반 탐색 전략을 사용한다.
• 선택 문제를 분리 오ракูล을 통해 해결할 수 있는 지수적 수의 제약 조건을 가진 선형 프로그래밍 문제로 공식화한다.
• 추정 오차를 제한하고 최적의 부분집합을 정확히 식별하기 위해 정밀한 농도 측정 부등식에 의존한다.
• 지수적 수의 제약 조건을 가진 선형 프로그래밍 문제를 해결하기 위한 새로운 알고리즘을 도입하며, 이를 반복적으로 위반된 제약 조건을 식별함으로써 구현한다.
• 결정 집합 V에서 효율적 선형 최적화가 가능할 경우 이 방법은 복잡한 조합 구조로의 확장성을 보장한다.
• 이 프레임워크는 고정된 예산 및 고정된 신뢰도 설정 모두에 적용 가능하며, 이를 바탕으로 샘플링 전략을 적절히 조정한다.

실험 결과

연구 질문

• RQ1 결정 집합이 매칭이나 부분행렬과 같은 복잡한 구조를 가질 경우, 조합적 순수 탐색에서 샘플 복잡도를 최소화하는 방법은 무엇인가?
• RQ2 불일치 기반 탐색 전략은 구조적 환경에서 이전 방법에 비해 샘플 효율성을 향상시킬 수 있는가?
• RQ3 고정된 예산 및 고정된 신뢰도 설정 하에서 조합적 순수 탐색의 이론적 성능 한계는 무엇인가?
• RQ4 후보 부분집합의 수가 지수적으로 증가할 경우, 기반이 되는 최적화 문제를 어떻게 효율적으로 해결할 수 있는가?
• RQ5 정밀한 농도 분석은 정확하고 효율적인 부분집합 식별을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 알고리즘은 고정된 예산 및 고정된 신뢰도 설정 모두에서 조합적 순수 탐색에서 최신 기술 수준의 샘플 복잡도를 달성한다.
• 매칭과 큰 보완 집합을 가진 부분행렬과 같은 구조에서는 이전의 이론적 보장보다 향상된 성능을 보인다.
• 결정 집합 V에서 효율적 선형 최적화가 가능할 경우 이 방법은 효율적인 구현을 가능하게 한다.
• 지수적 수의 제약 조건을 가진 선형 프로그래밍 문제를 해결하기 위한 새로운 알고리즘이 개발되어 프레임워크에 통합되었다.
• 이론적 분석은 날카로운 농도 측정 이론적 추론에 기반하여, 최소한의 샘플링으로도 높은 확률로 정확한 결과를 보장한다.
• 이 방법은 일반적이며 복잡한 종속성을 가진 구조를 포함한 다양한 조합 구조에 적용 가능하다.