[논문 리뷰] Utility-based Dueling Bandits as a Partial Monitoring Game

Pratik Gajane, Tanguy Urvoy|arXiv (Cornell University)|2015. 07. 10.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 3

한 줄 요약

이 논문은 유틸리티 기반 듀얼링 밴디트 문제를 부분 관측 게임으로 프레임워크화하고, 시간-회귀 계층에서 쉬운 범주에 속함을 증명하며, $ ilde{ Theta}( sqrt{T})$의 회귀 한계를 달성한다. 일반적인 부분 관측 알고리즘은 제곱형 행동 공간으로 인해 하위최적의 $ ilde{ mathcal{O}}(K sqrt{T})$의 회귀를 겪는 반면, 전용 알고리즘인 REX3는 최적의 $ ilde{ mathcal{O}}( sqrt{KT})$의 회귀를 달성함으로써, 구조 인식 알고리즘이 필요함을 강조한다.

ABSTRACT

Partial monitoring is a generic framework for sequential decision-making with incomplete feedback. It encompasses a wide class of problems such as dueling bandits, learning with expect advice, dynamic pricing, dark pools, and label efficient prediction. We study the utility-based dueling bandit problem as an instance of partial monitoring problem and prove that it fits the time-regret partial monitoring hierarchy as an easy - i.e. Theta (sqrt{T})- instance. We survey some partial monitoring algorithms and see how they could be used to solve dueling bandits efficiently. Keywords: Online learning, Dueling Bandits, Partial Monitoring, Partial Feedback, Multiarmed Bandits

연구 동기 및 목표

• 유틸리티 기반 듀얼링 밴디트 문제를 부분 관측(PM) 프레임워크 내에서 형식화하기.
• 듀얼링 밴디트 문제의 PM 시간-회귀 계층 내 복잡도 클래스를 규명하기.
• 기존 PM 알고리즘의 듀얼링 밴디트 문제에서의 성능 평가, 특히 행동 수 $K^2$에 대한 의존성에 초점 맞추기.
• 일반 PM 알고리즘이 듀얼링 밴디트의 구조적 특성을 포착하는 데에 미치는 한계를 규명하기.
• 회귀 스케일링 측면에서 일반 PM 방법에 비해 REX3와 같은 구조 인식 알고리즘이 우월함을 입증하기.

제안 방법

• 저자들은 행동 집합 $\boldsymbol{N}$, 결과 집합 $\boldsymbol{M}$, 손실 함수 $\mathcal{L}$, 이득 함수 $\mathcal{G}$, 피드백 함수 $\mathcal{H}$의 형식을 사용하여 듀얼링 밴디트 문제를 부분 관측 게임으로 모델링한다.
• 피드백에서 이득으로의 매핑이 가능한 행렬 $\mathcal{B}$가 존재하지 않음을 보여, 국소적으로도 관측 가능하지 않음을 증명함으로써 문제의 국소 관측 가능성(지역 관측 가능성)을 입증한다.
• Bartók 등(2014)의 PM 계층을 적용하여 듀얼링 밴디트 문제를 $\tilde{\Theta}(\sqrt{T})$의 회귀를 가지는 '쉬운' 사례로 분류한다.
• 기존 PM 알고리즘(FEEDEXP3, BALATON, CBP, GLOBAL-EXP3, SAVAGE, Neighborhood Watch 등)을 분석하고, 듀얼링 밴디트 맥락에서의 회귀 한계를 비교한다.
• 일반 PM 알고리즘은 $N \approx K^2$의 행동 수로 인해 $\tilde{\mathcal{O}}(K\sqrt{T})$의 회귀를 겪는 반면, REX3는 문제의 구조를 활용하여 $\tilde{\mathcal{O}}(\sqrt{KT})$의 최적 회귀를 달성함을 보여준다.
• 대조적 증명을 통해 선형 피드백-이득 매핑의 불가능성을 입증함으로써, 전용 알고리즘의 필요성을 정당화한다.

실험 결과

연구 질문

• RQ1 유틸리티 기반 듀얼링 밴디트 문제는 부분 관측 프레임워크의 사례인가? 만약 그렇다면, 어떻게 형식적으로 기술되는가?
• RQ2 PM 시간-회귀 계층에서 듀얼링 밴디트 문제는 어떤 복잡도 클래스에 속하는가?
• RQ3 일반 PM 알고리즘이 이론적으로는 보장되지만, 왜 듀얼링 밴디트 문제에서는 성능이 열 劣하는가?
• RQ4 듀얼링 밴디트 문제의 구조를 활용하여 일반 PM 알고리즘보다 더 나은 회귀 한계를 달성할 수 있는가?
• RQ5 듀얼링 밴디트 문제에서 달성 가능한 최적의 회귀 스케일링은 무엇이며, 어떤 알고리즘이 이를 달성하는가?

주요 결과

• 유틸리티 기반 듀얼링 밴디트 문제는 PM 시간-회귀 계층에서 '쉬운' 사례로 분류되며, 회귀 한계가 $\tilde{\Theta}(\sqrt{T})$이다.
• 선형 피드백-이득 매핑 $\mathcal{B}$가 존재하지 않기 때문에 문제는 국소적으로도 관측 가능하지 않으며, 이는 일부 일반 PM 알고리즘의 가정을 무효화한다.
• 일반 PM 알고리즘인 FEEDEXP3, BALATON, CBP, GLOBAL-EXP3, SAVAGE, Neighborhood Watch는 모두 $K^2$의 행동 수로 인해 $\tilde{\mathcal{O}}(K\sqrt{T})$의 회귀를 달성한다.
• 기존 PM 알고리즘 중에서 REX3만이 최적의 $\tilde{\mathcal{O}}(\sqrt{KT})$의 회귀 한계를 달성하며, 이는 $K$에 대해 비선형이고 듀얼링 밴디트에 최적이다.
• GLOBAL-EXP3의 반례 분석에서 점국소 게임에서 $N' \approx K^2$임을 확인하여 $\tilde{\mathcal{O}}(K\sqrt{T})$의 회귀를 유도함으로써, 듀얼링 밴디트 문제에 대해 그 성능이 하위최적임을 확인한다.
• 이 연구는 일반 PM 방법이 기반 구조를 활용하지 못하므로, 듀얼링 밴디트 문제에서 최적의 회귀를 달성하기 위해 구조 인식 알고리즘이 필수적임을 규명한다.