[논문 리뷰] Structured Best Arm Identification with Fixed Confidence

Ruitong Huang, Mohammad M. Ajallooeian외 2명|arXiv (Cornell University)|2017. 06. 16.

Advanced Bandit Algorithms Research참고 문헌 4인용 수 3

한 줄 요약

이 논문은 노이즈가 섞인 마이크로 관측값에 기반한 함수로 표현되는 보상 값을 가진 구조적 최적 암 번호 식별 문제에 대해 고정 신뢰도 설정에서 새로운 알고리즘인 LUCB-micro를 제안한다. 기존 작업을 일반화하고 향상시킨 인스턴스에 의존하는 샘플 복잡도 상한을 제공하며, 특히 비균일한 깊이와 이전 상태(전이)가 존재하는 최소최대 게임 검색에서 이전 방법들(예: FindTopWinner)보다 더 날카로운 상한을 달성한다.

ABSTRACT

We study the problem of identifying the best action among a set of possible options when the value of each action is given by a mapping from a number of noisy micro-observables in the so-called fixed confidence setting. Our main motivation is the application to the minimax game search, which has been a major topic of interest in artificial intelligence. In this paper we introduce an abstract setting to clearly describe the essential properties of the problem. While previous work only considered a two-move game tree search problem, our abstract setting can be applied to the general minimax games where the depth can be non-uniform and arbitrary, and transpositions are allowed. We introduce a new algorithm (LUCB-micro) for the abstract setting, and give its lower and upper sample complexity results. Our bounds recover some previous results, which were only available in more limited settings, while they also shed further light on how the structure of minimax problems influence sample complexity.

연구 동기 및 목표

• 노이즈가 섞인 마이크로 관측값에 의존하는 암 보상이 존재하는 구조적 환경에서의 최적 암 식별 문제를 다루며, 이는 두 수수께끼 게임 트리를 넘어서는 것이다.
• 임의의 깊이와 전이를 포함하는 최소최대 게임 검색의 핵심 성질을 포괄하는 추상적 설정을 정식화하는 것.
• 고정 신뢰도 제약 조건 하에서 최적의 암을 효율적으로 식별하는 새로운 알고리즘인 LUCB-micro를 개발하는 것.
• 문제의 구조가 학습 효율성에 미치는 영향을 반영하는 엄밀한 인스턴스에 의존하는 샘플 복잡도 상한을 확립하는 것.
• 두 수수께끼 교환 게임에서의 이전 결과를 복원하고, 이를 전장 최소최대 트리로 확장하는 것.

제안 방법

• 암 보상이 알려지지 않은 마이크로 관측값의 결정적 함수이며, 각 마이크로 관측값에 대해 노이즈가 섞인 관측값이 제공되는 추상적 프레임워크를 제안한다.
• Maximin-LUCB의 일반화로, 마이크로 관측값에 대한 상한 및 하한 신뢰구간을 사용해 샘플링을 이끌어내는 LUCB-micro 알고리즘을 도입한다.
• 최소최대 트리에서 최적의 수를 식별하는 데 어려움을 결정짓는 핵심적인 구조로 증명 집합(Proof sets)을 정의한다. 이는 음모 집합과 유사하다.
• 보상 함수의 구조를 활용해 최소최대 설정에서 최적 행동 선택을 효율적으로 계산하기 위해 최소-최대 계산 전략을 사용한다.
• 신뢰구간과 값 집합의 스팬에 기반해 마이크로 관측값 당 뽑기 수를 분석함으로써, 샘플 복잡도에 대한 고확률, 인스턴스에 의존하는 상한을 확립한다.
• 보상 함수에 대한 정규성 가정 하에, 알고리즘이 위험 요구사항(즉, 높은 확률로 정확한 식별)을 충족함을 증명한다.

실험 결과

연구 질문

• RQ1 두 수수께끼 게임 트리에서 관찰된 효율성 향상이 임의의 깊이와 전이를 포함하는 일반적인 최소최대 게임으로 확장될 수 있는가?
• RQ2 특히 공유 상태와 비균일한 깊이가 존재하는 게임 트리의 구조가 최적 암 식별의 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 마이크로 관측값이 존재하는 구조적 최적 암 식별 문제에 대해 인스턴스에 의존하는 샘플 복잡도의 하한은 무엇인가?
• RQ4 LUCB-micro와 같은 단일 알고리즘이 다양한 구조적 환경(예: 전체 최소최대 트리)에서 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ5 최소최대 트리 내에서 구조적 불변량으로서의 증명 집합은 최적의 수를 식별하는 데 어려움에 어떤 영향을 미치는가?

주요 결과

• 제안된 LUCB-micro 알고리즘은 최소최대 게임 설정에서 FindTopWinner보다 엄밀히 더 낮은 샘플 복잡도 상한을 고확률, 인스턴스에 의존하는 방식으로 달성하며, 특히 근접 최적의 마이크로 관측값을 확보하기 위해 필요한 샘플 수에서 유의미한 향상을 보인다.
• LUCB-micro의 샘플 복잡도 상한은 두 수수께끼 교환 케이스에서 인스턴스에 의존하는 하한과 일치하여, 해당 영역에서의 최적성(optimality)을 확인한다.
• 논문은 구조적 최적 암 식별에 대해 새로운 인스턴스에 의존하는 하한을 확립하였으며, 이는 Garivier 등(2016a)의 두 수수께끼 설정에서의 이전 결과를 일반화하고 재현한다.
• 추상 설정에 요구되는 정규성 가정은 최소최대 게임 설정에서 충족되며, 이는 이론적 보장을 실제 게임 검색 문제에 적용할 수 있음을 의미한다.
• 증명 집합을 구조적 불변량으로 사용함으로써 샘플 복잡도 분석을 더욱 날카롭게 할 수 있었으며, 최적의 수를 식별하는 데의 어려움이 최소 증명 집합 크기에 의해 결정됨을 드러냈다.
• 알고리즘의 샘플 복잡도가 증명 집합의 값 집합 스팬의 역수 제곱에 비례함을 입증함으로써, 문제의 내재적 어려움에 대한 깔끔한 의존성을 보였다.