[논문 리뷰] OSOM: A simultaneously optimal algorithm for multi-armed and linear contextual bandits

Niladri S. Chatterji, Vidya Muthukumar외 1명|arXiv (Cornell University)|2019. 05. 24.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

OSOM은 보상 구조에 대한 사전 지식 없이도 다중 암반 밴딧 및 선형 연역적 밴딧 설정에서 동시에 최적의 리그레트 한계를 달성하는 계산적으로 효율적인 알고리즘입니다. 이 알고리즘은 단순한 암반 선택 정책과 선형 연역적 정책 사이를 적응적으로 선택하며, 다중 암반 설정에서는 문제 의존적 O(log n) 리그레트를, 선형 설정에서는 확률적 맥락 가정 하에 최소최대 최적의 Õ((√d + √K)√n) 리그레트를 달성합니다.

ABSTRACT

We consider the stochastic linear (multi-armed) contextual bandit problem with the possibility of hidden simple multi-armed bandit structure in which the rewards are independent of the contextual information. Algorithms that are designed solely for one of the regimes are known to be sub-optimal for the alternate regime. We design a single computationally efficient algorithm that simultaneously obtains problem-dependent optimal regret rates in the simple multi-armed bandit regime and minimax optimal regret rates in the linear contextual bandit regime, without knowing a priori which of the two models generates the rewards. These results are proved under the condition of stochasticity of contextual information over multiple rounds. Our results should be viewed as a step towards principled data-dependent policy class selection for contextual bandits.

연구 동기 및 목표

• 보상 구조에 대한 사전 지식 없이도 단일 알고리즘으로 단순한 다중 암반 밴딧 및 선형 연역적 밴딧 설정 모두에서 최적의 리그레트를 달성하는 것.
• 기존 알고리즘이 설계 목적과 다른 설정에 적용되었을 때의 비최적성 문제를 해결하는 것.
• 데이터 기반의 복잡도에 따라 연역적 밴딧에서 정책 클래스 선택을 적응적으로 수행하여 다양한 보상 생성 모델 전반에서의 전반적 성능 향상.
• 확률적 맥락 가정 하에 두 설정 모두에서 리그레트 최적성에 대한 이론적 보장을 제공하는 것.

제안 방법

• OSOM은 신뢰 집합과 불확실성에 대한 낙관주의 원칙을 기반으로, UCB 스타일의 암반 선택 정책과 선형 연역적 정책 사이를 동적으로 선택하는 모델 선택 메커니즘을 사용합니다.
• 선형 매개변수 θ*에 대해 별도의 신뢰 집합을 유지하고, 자체 정규화된 농도 불등식을 사용하여 추정 오차를 제한합니다.
• 추정된 선형 효과의 크기와 θ*의 불확실성의 비율에 기반하여 정책 전환을 위한 임계값 메커니즘을 적용합니다.
• 행렬 프리드먼의 부등식과 행렬 행렬식 성장 한계를 사용하여 신뢰 집합 크기를 제어하고 매개변수 추정의 안정성을 확보합니다.
• 선형 및 비선형 보상 모델 성분을 모두 고려하는 통합 프레임워크를 사용하여 두 설정 모두에 대한 리그레트 분석을 통합합니다.
• θ* = 0일 때 선형 모델이 다중 암반 밴딧으로 축소됨을 활용하여, OSOM이 이 경우에 자동으로 적응함을 보장합니다.

실험 결과

연구 질문

• RQ1 단일 알고리즘이 다중 암반 밴딧 설정에서는 문제 의존적 최적 리그레트를, 선형 연역적 밴딧 설정에서는 최소최대 최적 리그레트를 동시에 달성할 수 있는가?
• RQ2 보상 생성 과정의 진정한 복잡도를 사전 지식 없이도 적응적으로 파악할 수 있는 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ3 신뢰 집합과 모델 선택을 어떻게 통합하여 두 설정 모두에서 최적 리그레트를 보장할 수 있는가?
• RQ4 확률적 맥락 가정 하에 이러한 적응형 알고리즘에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 알고리즘이 다중 암반 케이스에서는 O(log n) 리그레트를, 선형 케이스에서는 Õ((√d + √K)√n) 리그레트를 동시에 달성할 수 있는가?

주요 결과

• OSOM은 다중 암반 밴딧 설정에서 UCB가 보상이 맥락과 독립적일 때 달성하는 최적 속도와 동일한 문제 의존적 O(log n) 리그레트를 달성합니다.
• 선형 연역적 밴딧 설정에서는 LinUCB와 OFUL의 최고 알려진 한계와 동일한 최소최대 최적의 Õ((√d + √K)√n) 리그레트를 달성합니다.
• 데이터가 다중 암반 모델인지 선형 모델인지에 대한 사전 지식 없이도 알고리즘이 기반 보상 구조에 자동으로 적응합니다.
• 이론적 분석을 통해 θ*의 큰 추정 오차 발생 확률이 농도 불등식을 통해 제한됨을 보여주며, 이는 강건성을 보장합니다.
• 행렬식 성장은 레마 14를 통해 제어되며, 이는 로그 행렬식 성장의 상한을 제공하고, 이는 신뢰 집합 구성에 기여합니다.
• 맥락이 확률적으로 생성되고 악조건이 아니라는 가정 하에, 알고리즘의 리그레트는 두 설정 모두에서 최적이 됨을 증명했습니다.