[논문 리뷰] Maximin Action Identification: A New Bandit Framework for Games

Aurélien Garivier, Emilie Kaufmann외 1명|arXiv (Cornell University)|2016. 02. 15.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 3

한 줄 요약

이 논문은 승리 확률을 추정하기 위해 행동 쌍의 랜덤 결과를 샘플링하는 두 명의 플레이어 간의 0-합 게임에서 최대 최소 행동을 식별하기 위한 새로운 밴딧 프레임워크를 제안한다. 이는 신뢰 구간과 순차적 제거를 각각 사용하는 두 가지 알고리즘—Maximin-LUCB와 Maximin-Racing—을 제안하며, 이론적으로 최적의 샘플 복잡도를 달성하고 강력한 경험적 성능을 보이며, 특정 조건 하에서 渐近 최적성에 대한 이론적 및 경험적 증거를 제시한다.

ABSTRACT

We study an original problem of pure exploration in a strategic bandit model motivated by Monte Carlo Tree Search. It consists in identifying the best action in a game, when the player may sample random outcomes of sequentially chosen pairs of actions. We propose two strategies for the fixed-confidence setting: Maximin-LUCB, based on lower-and upper-confidence bounds; and Maximin-Racing, which operates by successively eliminating the sub-optimal actions. We discuss the sample complexity of both methods and compare their performance empirically. We sketch a lower bound analysis, and possible connections to an optimal algorithm.

연구 동기 및 목표

• 몬테카를로 트리 서치(MCTS)에서 롤아웃 수를 최소화하는 데 초점을 맞추어 불확실성 하에서 최적의 전략 행동을 식별하는 데 있다.
• 적대적 상대방에 대비하여 최소 승리 확률을 최대화하는 행동을 식별하는 것을 목표로 하는 새로운 밴딧 모델을 체계화하는 것.
• 높은 신뢰도로 ǫ-최대 최소 행동을 식별하기 위해 필요한 샘플 수(롤아웃 수)를 최소화하는 동적 샘플링 전략을 설계하고 분석하는 것.
• 이론적 샘플 복잡도 상한을 확립하고 고정 신뢰도 설정에서 渐近 최적성과의 연관성을 탐색하는 것.

제안 방법

• K = ∑Ki개의 베르누이 암을 가진 확률적 밴딧 모델을 제안하며, 각 암은 행동 쌍 (i,j)에 대응하고, 평균 µi,j는 플레이어 A가 행동 i를 선택하고 상대가 j를 선택했을 때의 승리 확률을 나타낸다.
• 최대 최소 값의 신뢰 구간이 충분히 좁아질 때까지 암을 순차적으로 샘플링하고 정지하는 Maximin-LUCB 전략을 도입한다. 이 전략은 하한 및 상한 신뢰 구간을 사용한다.
• 신뢰 구간 기반으로 열악한 행동을 순차적으로 제거하여 최적의 성능을 보장하는 순차적 제거 알고리즘인 Maximin-Racing을 개발한다. 이는 δ-PAC 성능을 보장한다.
• 정지 기준이 최종 추천된 ˆı가 확률 1−δ 이상으로 ǫ-최대 최소 행동이 되도록 보장하는 고정 신뢰도 설정을 사용한다.
• 호프딩 및 KL 발산 상한을 사용하여 샘플 복잡도를 분석하고, 기대 샘플 수에 대한 명시적 표현이 없는 하한을 유도한다.
• 단순체계 위에 있는 단체에서 유도된 볼록 최적화 문제를 통해 최적 비율 벡터 w∗(µ)를 도출하고, 이에 따라 渐近 최적성에 도달하는 샘플링 규칙을 설계함으로써 渐近 최적성에 대한 길을 그린다.

실험 결과

연구 질문

• RQ1 알려지지 않은 승리 확률을 가진 두 명의 플레이어 간 0-합 게임에서 ǫ-최대 최소 행동을 식별하기 위해 필요한 최소 샘플 수(롤아웃 수)는 얼마인가?
• RQ2 이 새로운 밴딧 프레임워크에서 샘플 복잡도를 최소화하면서도 δ-PAC 정확성을 보장하는 순차적 샘플링 전략을 어떻게 설계할 수 있는가?
• RQ3 이 최대 최소 행동 식별 문제에 대한 이론적 샘플 복잡도 하한은 무엇인가?
• RQ4 더 엄격한 신뢰 구간이나 더 적응형 샘플링 규칙을 사용함으로써 Maximin-LUCB 및 Maximin-Racing와 같은 기존 알고리즘의 성능을 향상시킬 수 있는가?
• RQ5 δ → 0일 때 정보 이론적 하한에 渐近적으로 부합하는 전략이 존재하는가?

주요 결과

• 경험적 평가에서 Maximin-Racing와 Maximin-Chernoff가 다른 알고리즘보다 뛰어난 성능을 보이며, M-Chernoff는 샘플 효율성에서 略 유리한 성능을 보였다.
• 호프딩 상한을 사용하는 M-LUCB 알고리즘은 보수적인 신뢰 구간으로 인해 부적절한 성능을 보이며, M-KL-LUCB 및 M-Chernoff와의 경험적 비교로 그 결과가 확인되었다.
• 3×3 행동 모델에서 M-KL-LUCB 및 M-Chernoff 하에서 각 암의 추출 수가 이론적 상한과 밀접하게 일치함을 확인하여 알고리즘 설계의 타당성을 검증하였다.
• 샘플 복잡도에 대한 이론적 하한은 T∗(µ)−1 = supw∈ΣK min[F1(µ,w), F2(µ,w)]로 표현되며, F1과 F2는 KL 발산과 평균의 가중 평균에 의존한다.
• µ4 > µ2일 경우 최적 전략은 암 4의 샘플링을 거의 회피함(즉, w∗4(µ) = 0)을 나타내며, 이는 최적 샘플링 전략에서 일부 암이 불필요하다는 것을 의미한다.
• 논문은 KL 발산 기반 정지 기준과 최적 비율 벡터 w∗(µ)를 달성하는 샘플링 규칙을 조합함으로써 渐近 최적 알고리즘을 구성할 수 있을 것이라 제안하지만, 완전한 증명은 아직 열려 있다.