[논문 리뷰] Efficient and Robust Algorithms for Adversarial Linear Contextual Bandits

Gergely Neu, Julia Olkhovskaya|arXiv (Cornell University)|2020. 02. 01.

Advanced Bandit Algorithms Research참고 문헌 51인용 수 4

한 줄 요약

이 논문은 i.i.d. 컨텍스트를 가진 악성 선형 컨텍스추얼 밴디트 문제를 위한 두 가지 효율적인 알고리즘—RealLinExp3 및 RobustLinExp3—을 제안한다. RealLinExp3는 $\widetilde{O}(\sqrt{KdT})$의 리그레트 한계를 달성하며, 이는 알려진 최상의 하한과 일치한다. 반면 RobustLinExp3는 모델 오설정에 대한 강건성을 보장하며 $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon\sqrt{d}T$의 한계를 확보하여 이 설정에 대해 처음으로 이러한 보장을 제공한다.

ABSTRACT

We consider an adversarial variant of the classic $K$-armed linear contextual bandit problem where the sequence of loss functions associated with each arm are allowed to change without restriction over time. Under the assumption that the $d$-dimensional contexts are generated i.i.d.~at random from a known distributions, we develop computationally efficient algorithms based on the classic Exp3 algorithm. Our first algorithm, RealLinExp3, is shown to achieve a regret guarantee of $\widetilde{O}(\sqrt{KdT})$ over $T$ rounds, which matches the best available bound for this problem. Our second algorithm, RobustLinExp3, is shown to be robust to misspecification, in that it achieves a regret bound of $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon \sqrt{d} T$ if the true reward function is linear up to an additive nonlinear error uniformly bounded in absolute value by $\varepsilon$. To our knowledge, our performance guarantees constitute the very first results on this problem setting.

연구 동기 및 목표

• 문헌에서의 격차를 메우기 위해, 악성 선형 컨텍스추얼 밴디트 문제에 대해 계산적으로 효율적이고 강력한 성능 보장을 갖춘 알고리즘을 설계하는 것.
• 기존 알고리즘이 고정되거나 확률적으로 생성된 손실 함수를 가정하고 있으며, 모델 오설정에 민감한 점을 해결하는 것.
• 진짜 보상 함수가 가정된 선형 모델에서 약간 벗어나도 강력한 리그레트 한계를 유지할 수 있도록 하는 방법을 개발하는 것.
• 손실 함수가 악성일 수 있고 모델이 자주 오설정될 가능성이 있는 실제 환경에서 컨텍스추얼 밴디트 알고리즘의 실용적 구현을 가능하게 하는 것.
• i.i.d. 컨텍스트 가정 하에서 악성 선형 컨텍스추얼 밴디트 문제에 대해 처음으로 공식적인 성능 보장을 수립하는 것.

제안 방법

• 컨텍스트의 i.i.d. 성격과 컨텍스트 및 손실 간의 통계적 독립성을 활용하여, 컨텍스트 밴디트 문제를 고정된 액션 세트를 가진 보조 밴디트 문제의 집합으로 환원한다.
• RealLinExp3는 각 컨텍스트에 맞는 손실 추정을 위해 비편향 추정기를 사용하는 Exp3 알고리즘을 활용하여 $T$ 라운드 동안 효율적인 리그레트 최소화를 가능하게 한다.
• RobustLinExp3는 $\varepsilon$로 유계된 비선형 오차를 고려하는 강건성 항을 포함하며, 오설정 하에서도 성능을 유지하기 위해 수정된 손실 추정 전략을 사용한다.
• 행렬 기하적 재표본화(MGR)는 직접 역행렬 계산의 높은 비용을 피하기 위해 손실 추정에서 공분산 행렬의 역행렬을 추정하기 위한 새로운 계산적으로 효율적인 방법으로 도입된다.
• 분석은 렘마 4.1에 기반하며, 이는 컨텍스트 설정에서의 리그레트를 보조 밴디트 문제의 기대 리그레트와 연결시켜 표준 밴디트 분석으로 환원하게 한다.
• 알고리즘들은 계산적으로 효율적이고 확장 가능하도록 설계되었으며, 컨텍스트 분포와 손실 구조에 대한 약한 가정 하에서 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 i.i.d. 컨텍스트 가정 하에서, 최소화된 리그레트를 달성하는 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 진짜 보상 함수가 $\varepsilon$-유계 비선형 오차까지 선형인 경우, 강건한 성능 보장을 달성할 수 있는가?
• RQ3 악성 손실 시퀀스가 존재하는 상황에서도 여전히 컨텍스트 정보를 활용하면서 강력한 리그레트 한계를 유지할 수 있는가?
• RQ4 높은 계산 비용을 초래하지 않으면서도, 악성 선형 밴디트에서 역공분산 행렬을 추정하는 실용적인 방법을 개발할 수 있는가?
• RQ5 이 설정에서 리그레트 성능와 모델 오설정에 대한 강건성 사이의 기본적인 상충 관계는 무엇인가?

주요 결과

• RealLinExp3는 $T$ 라운드 동안 $\widetilde{O}(\sqrt{KdT})$의 리그레트 한계를 달성하며, 이는 이 문제에 대해 알려진 최상의 하한과 일치하여 최소최대 최적성( minimax optimality)을 입증한다.
• RobustLinExp3는 진짜 보상 함수가 $\varepsilon$-유계 오차까지 선형인 경우 $\widetilde{O}((Kd)^{1/3}T^{2/3}) + \varepsilon\sqrt{d}T$의 리그레트 한계를 확보하며, 이 설정에 대해 처음으로 이러한 강건성 보장을 제공한다.
• 제안된 알고리즘들은 계산적으로 효율적이며, 손실 시퀀스에 대한 사전 지식이 필요 없어 실시간 의사결정 응용에 적합하다.
• 행렬 기하적 재표본화(MGR) 기법은 직접 공분산 역행렬 추정의 대안으로 확장 가능하며, 확률적 최적화에서 경사하강법 역학과의 연결 고리를 제공한다.
• 이론적 분석은 컨텍스트 생성에 대한 가정 없이 서브선형 리그레트가 불가능하다고 밝히며, i.i.d. 가정이 타당성과 타당성을 확보하기 위해 자연스럽고 필수적임을 입증한다.
• 렘마 4.1을 통한 보조 밴디트 문제로의 환원은 깔끔한 분석을 가능하게 하며, 정책 클래스 최적화가 아닌 손실 함수 추정에 기반한 새로운 컨텍스트 밴디트 알고리즘 방향을 열어준다.