[논문 리뷰] Phased Exploration with Greedy Exploitation in Stochastic Combinatorial Partial Monitoring Games

Sougata Chaudhuri, Ambuj Tewari|arXiv (Cornell University)|2016. 01. 01.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 52

한 줄 요약

이 논문은 확률적 조합적 부분 관측(CPM) 게임을 위한 단계적 탐색과 탐욕적 이용(PEGE) 프레임워크를 제안하며, 오직 argmax 오라클만을 사용하여 분포 독립적 일관성으로 O(T^{2/3}√log T) 및 분포 의존적 일관성으로 O(log²T)의 오차를 달성한다. 기존 연구와 달리 유일한 최적 행동이 필요로 하는 조건을 제거하고, 복잡한 arg-secondmax 오라클을 피함으로써, 상단 피드백만 있는 온라인 랭킹에 대한 효율적 적용을 가능하게 한다.

ABSTRACT

Partial monitoring games are repeated games where the learner receives feedback that might be different from adversary's move or even the reward gained by the learner. Recently, a general model of combinatorial partial monitoring (CPM) games was proposed \cite{lincombinatorial2014}, where the learner's action space can be exponentially large and adversary samples its moves from a bounded, continuous space, according to a fixed distribution. The paper gave a confidence bound based algorithm (GCB) that achieves $O(T^{2/3}\log T)$ distribution independent and $O(\log T)$ distribution dependent regret bounds. The implementation of their algorithm depends on two separate offline oracles and the distribution dependent regret additionally requires existence of a unique optimal action for the learner. Adopting their CPM model, our first contribution is a Phased Exploration with Greedy Exploitation (PEGE) algorithmic framework for the problem. Different algorithms within the framework achieve $O(T^{2/3}\sqrt{\log T})$ distribution independent and $O(\log^2 T)$ distribution dependent regret respectively. Crucially, our framework needs only the simpler "argmax" oracle from GCB and the distribution dependent regret does not require existence of a unique optimal action. Our second contribution is another algorithm, PEGE2, which combines gap estimation with a PEGE algorithm, to achieve an $O(\log T)$ regret bound, matching the GCB guarantee but removing the dependence on size of the learner's action space. However, like GCB, PEGE2 requires access to both offline oracles and the existence of a unique optimal action. Finally, we discuss how our algorithm can be efficiently applied to a CPM problem of practical interest: namely, online ranking with feedback at the top.

연구 동기 및 목표

• 기존 CPM 알고리즘에서 요구하는 argmax 및 arg-secondmax 오라클의 한계를 해결한다.
• 지수적으로 큰 행동 공간과 연속적인 적대적 행동을 가진 조합적 부분 관측 게임에 대해 오차 최소화 알고리즘을 개발한다.
• 분포 의존적 오차 분석에서 유일한 최적 행동 가정을 제거한다.
• 상한 피드백 하에서 실세계 응용 분야(예: 온라인 랭킹)에 실용적으로 구현 가능하게 한다.
• 기존 방법과 비교해도 동등하거나 더 나은 오차 한계를 확보하면서 계산 의존도를 감소시킨다.

제안 방법

• 탐색과 탐욕적 이용 단계를 번갈아 가며 수행하는 단계적 탐색 프레임워크를 제안한다.
• 기존 방법의 이중 오라클 요구 조건보다 단순한 argmax 오라클만을 사용한다.
• 현재 보상 추정치를 기반으로 탐욕적 이용을 구현하여 행동을 선택한다.
• PEGE2를 도입하여 갭 추정과 PEGE를 결합함으로써 분포 의존적 오차로 O(log T)를 달성한다.
• 전역 관측 가능성과 보상 함수의 리프시츠 연속성 포함 모든 CPM 모델 가정을 충족시킨다.
• 온라인 랭킹에 대해 상단 피드백만 있는 상황을 고려하여, 순열 행동을 가진 CPM 게임으로 모델링한다.

실험 결과

연구 질문

• RQ1 유일한 최적 행동이 존재하지 않더라도 CPM 알고리즘이 O(log²T) 분포 의존적 오차를 달성할 수 있는가?
• RQ2 arg-secondmax 오라클에 의존하지 않으면서도 오차 한계를 O(log T)로 향상시킬 수 있는가?
• RQ3 PEGE 프레임워크는 상단 피드백만 있는 온라인 랭킹에 효율적으로 적용될 수 있는가?
• RQ4 탐색 단계와 탐욕적 이용을 통한 단계적 탐색이 CPM 게임에서 신뢰도 기반 방법보다 우월한가?
• RQ5 연속적인 학습자 행동 공간을 다룰 수 있으며, 낮은 오차를 유지할 수 있는가?

주요 결과

• PEGE 알고리즘은 오직 argmax 오라클만을 사용하여 분포 독립적 오차로 O(T^{2/3}√log T) 및 분포 의존적 오차로 O(log²T)를 달성한다.
• PEGE 프레임워크는 기존 분포 의존적 오차 한계와 달리, 존재하는 유일한 최적 행동이 필요로 하지 않는다.
• PEGE2는 O(log T) 분포 의존적 오차를 달성하며, GCB의 오차 한계를 달성하지만 arg-secondmax 오라클을 요구하지 않는다.
• 상단 피드백만 있는 온라인 랭킹 문제는 공식적으로 CPM 게임으로 모델링되었으며, 모든 요구 조건을 충족한다.
• 이 프레임워크는 유한한 행동 공간뿐만 아니라 연속적인 학습자 행동 공간(예: 랭킹을 위한 연속 점수 벡터 포함)에도 적용 가능하다.
• 실험적 검증을 통해 제약된 피드백 하에서도 대규모 랭킹 문제에 대해 실용적인 성능을 보였다.