[논문 리뷰] Structure Adaptive Algorithms for Stochastic Bandits

Rémy Degenne, Han Shao외 1명|arXiv (Cornell University)|2020. 07. 02.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 구조 적응형 알고리즘을 제안하며, 스트레스 풀리지 않은 전체 사다리꼴 오라클을 피하기 위해 반복적 사다리꼴 해법기법을 활용함으로써 渐近 최적성과 유한 시간 내의 리그레트 한계를 달성한다. 이 방법은 희소성, 단조성, 선형성 등의 구조적 제약 조건을 효율적으로 활용하면서도 라운드당 계산 비용을 낮추고, 인스턴스에 의존하는 하한선을 정확히 따라간다.

ABSTRACT

We study reward maximisation in a wide class of structured stochastic multi-armed bandit problems, where the mean rewards of arms satisfy some given structural constraints, e.g. linear, unimodal, sparse, etc. Our aim is to develop methods that are flexible (in that they easily adapt to different structures), powerful (in that they perform well empirically and/or provably match instance-dependent lower bounds) and efficient in that the per-round computational burden is small. We develop asymptotically optimal algorithms from instance-dependent lower-bounds using iterative saddle-point solvers. Our approach generalises recent iterative methods for pure exploration to reward maximisation, where a major challenge arises from the estimation of the sub-optimality gaps and their reciprocals. Still we manage to achieve all the above desiderata. Notably, our technique avoids the computational cost of the full-blown saddle point oracle employed by previous work, while at the same time enabling finite-time regret bounds. Our experiments reveal that our method successfully leverages the structural assumptions, while its regret is at worst comparable to that of vanilla UCB.

연구 동기 및 목표

• 다양한 구조적 제약 조건(예: 희소성, 단조성, 선형성 등)에 적응하는 밴딧 알고리즘을 개발하여 성능을 저하시키지 않도록 하는 것.
• 인스턴스에 의존하는 리그레트 하한선을 따라가며 渐近 최적성을 달성하는 것.
• 이전의 전체 사다리꼴 오라클에 의존하는 구조 적응형 방법에 비해 계산 오버헤드를 줄이는 것.
• 문제의 복잡성에 반영된 명시적인 유한 시간 내 리그레트 한계를 제공하는 것.

제안 방법

• 알고리즘은 인스턴스에 의존하는 리그레트 하한선에서 유도된 이중 문제의 해를 근사하기 위해 반복적 사다리꼴 해법기법을 사용한다.
• 탐색과 이용의 균형을 이루는 데 핵심적인 하위 최적성 갭과 그 역수를 추정하는 새로운 접근법을 도입한다.
• 핵심 혁신은 구조적 제약 조건 하에서 국소 해를 효율적으로 계산하는 교호 최소화 오라클(alt-min oracle)을 사용하는 것이다.
• 알고리즘은 추정된 갭과 구조적 제약 조건에 기반해 암 선택을 동적으로 조정함으로써 적응형 탐색을 가능하게 한다.
• 다양한 구조(예: 단조성, 희소성, 선형성 등)에 대해 alt-min 오라클은 각각 맞춤형 최적화 기법을 사용하여 구현된다: 단조성에는 PAVA, 리프시츠 및 단체형에는 볼록 2차 프로그래밍 해법기법, 선형 제약 조건에는 닫힌 형태의 사영을 사용한다.
• 각 단계에서 전체 최소-최대 문제를 해결하지 않아도 되므로 계산 비용을 크게 줄였지만, 여전히 최적의 리그레트 성능을 달성한다.

실험 결과

연구 질문

• RQ1 구조 적응형 밴딧 알고리즘은 渐近 최적성과 유한 시간 내 리그레트 한계를 동시에 달성할 수 있는가?
• RQ2 구조 적응형 알고리즘의 계산 비용은 리그레트 성능을 저하시키지 않고 어떻게 줄일 수 있는가?
• RQ3 반복적 사다리꼴 해법기법은 구조적 밴딧에서 하위 최적성 갭을 효과적으로 추정하는 데 사용될 수 있는가?
• RQ4 희소성, 단조성 등의 구조적 가정을 얼마나 효과적으로 활용하여 실제로 리그레트를 줄일 수 있는가?
• RQ5 다양한 구조에서 표준 UCB 대비 제안된 알고리즘은 리그레트와 적응성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 渐近 최적성을 달성하며, T가 증가함에 따라 리그레트가 인스턴스에 의존하는 하한선 V^M(µ)로 수렴한다.
• 유한 시간 내 리그레트 한계가 확립되었으며, 문제의 복잡성에 따라 의존하는 시간 이후에 V^M(µ) ln T 수준의 리그레트를 보인다.
• 모든 테스트된 구조(희소성, 단조성, 리프시츠, 선형성, 단체형)에서 구조적 가정을 성공적으로 활용하여 보편적 UCB보다 리그레트를 감소시켰다.
• 이전의 전체 사다리꼴 오라클에 의존하는 구조 적응형 알고리즘보다 계산 비용이 크게 낮다.
• 실험 결과, 초기에는 UCB와 유사한 리그레트를 보였지만, 구조적 정보가 효과적으로 활용된 후 빠르게 향상되었다.
• 특히 복잡한 구조에 대해서도 이전 방법보다 훨씬 낮은 라운드당 계산 비용으로 이 성능를 달성했다.