[논문 리뷰] Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously

Chung‐Wei Lee, Haipeng Luo외 3명|arXiv (Cornell University)|2021. 07. 18.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 스 tochastic 환경에서 인스턴스 최적의 리그레트를, 적대적 환경에서 최대 최소 최적의 리그레트를 동시에 달성하는 두 가지 새로운 선형 밴디트 알고리즘을 소개한다. 높은 확률 보장 하에 수행된다. 새로운 손실 추정기와 적대적 구성요소를 적응형 테스트와 통합함으로써, 알고리즘은 스 tochastic 설정에서 거의 인스턴스 최적의 성능을 달성하고, 오염에 대해 최적의 강건성을 확보하며, 이전의 연구들보다 적응성과 오염 수준에 대한 의존성 면에서 뛰어나다.

ABSTRACT

In this work, we develop linear bandit algorithms that automatically adapt to different environments. By plugging a novel loss estimator into the optimization problem that characterizes the instance-optimal strategy, our first algorithm not only achieves nearly instance-optimal regret in stochastic environments, but also works in corrupted environments with additional regret being the amount of corruption, while the state-of-the-art (Li et al., 2019) achieves neither instance-optimality nor the optimal dependence on the corruption amount. Moreover, by equipping this algorithm with an adversarial component and carefully-designed testings, our second algorithm additionally enjoys minimax-optimal regret in completely adversarial environments, which is the first of this kind to our knowledge. Finally, all our guarantees hold with high probability, while existing instance-optimal guarantees only hold in expectation.

연구 동기 및 목표

• 환경 유형을 사전에 알지 못한 채 스 tochastic 및 적대적 환경에 적응하는 선형 밴디트 알고리즘을 개발하는 것.
• 문제에 특화된 매개변수에 따라 리그레트가 의존하는 스 tochastic 설정에서 거의 인스턴스 최적의 리그레트를 달성하는 것.
• 오염된 피드백에 대해 강건성을 확보하고, 추가 리그레트가 오염량에 선형적으로 증가하도록 보장하는 것.
• 완전히 적대적인 환경에서 최대 최소 최적의 리그레트를 달성하는 것 — 이전에 같은 프레임워크에서 달성되지 못한 능력.
• 기존의 인스턴스 최적 방법들이 기대값 기반 보장을 제공하는 데 그쳤던 점을 극복하기 위해 높은 확률 기반 리그레트 경계를 제공하는 것.

제안 방법

• 인스턴스 최적 전략의 기초가 되는 최적화 문제를 향상시키는 새로운 손실 추정기를 도입함으로써 강건성과 적응성을 향상시킨다.
• 스 tochastic 구성요소와 적대적 구성요소를 정교하게 설계된 테스트 절차를 사용해 조합한 이중 단계 알고리즘을 설계한다.
• 모든 이론적 보장을 기대값이 아닌 높은 확률로 유지하기 위해 높은 확률 농도 기법을 사용한다.
• 환경 특성에 따라 스 tochastic 및 적대적 동작 간에 동적으로 전환하는 테스트를 사용한다.
• 오염 환경에서의 리그레트가 오염량에 선형적으로 증가함을 보장하여 최적의 의존성과 일치시킨다.
• 선형 밴디트의 구조를 활용해 계산 효율성을 유지하면서도 강력한 이론적 성능을 달성한다.

실험 결과

연구 질문

• RQ1 단일 선형 밴디트 알고리즘이 스 tochastic 환경에서 인스턴스 최적성과 적대적 환경에서 최대 최소 최적성을 동시에 달성할 수 있는가?
• RQ2 알고리즘이 오염된 피드백에 강건성을 유지하면서도 거의 인스턴스 최적의 리그레트를 유지할 수 있는가?
• RQ3 적대적 설정에서 리그레트가 오염량에 대해 최적의 의존성을 가지는가?
• RQ4 기대값 기반 보장이 아닌 높은 확률 기반 리그레트 경계를 인스턴스 최적 선형 밴디트에 적용할 수 있는가?
• RQ5 스 tochastic 및 적대적 환경 간 자동 전환을 가능하게 하는 메커니즘은 무엇이며, 환경 유형을 사전에 알지 못한 채로도 작동하는가?

주요 결과

• 첫 번째 알고리즘은 스 tochastic 환경에서 거의 인스턴스 최적의 리그레트를 달성하고, 오염량에 비례하는 추가 리그레트를 유발하며, 높은 확률 보장 하에 수행된다.
• 이전의 연구들(Li et al., 2019)보다 뛰어나게, 이 알고리즘은 인스턴스 최적성과 오염에 대한 최적의 의존성을 동시에 달성했으며, 이는 이전 방법들이 실패했던 영역이다.
• 적대적 구성요소와 적응형 테스트를 통합한 두 번째 알고리즘은 완전히 적대적인 환경에서 최대 최소 최적의 리그레트를 달성했으며, 이는 이 클래스의 알고리즘으로서는 최초의 성취이다.
• 모든 이론적 보장은 높은 확률로 확립되었으며, 이는 이전의 인스턴스 최적 방법들이 기대값 기반 보장만 제공했던 한계를 해결한 것이다.
• 제안된 방법들은 환경 유형 — 스 tochastic, 오염된, 또는 완전히 적대적인 — 에 자동으로 적응하며, 사전 지식이나 하이퍼파라미터 튜닝이 필요로 하지 않는다.
• 새로운 손실 추정기는 더 날카운 리그레트 경계와 향상된 강건성을 가능하게 하여, 이중 최적성 보장을 가능하게 하는 핵심 혁신을 이룬다.