[논문 리뷰] On the Optimality of Perturbations in Stochastic and Adversarial Multi-armed Bandit Problems

Baekjin Kim, Ambuj Tewari|arXiv (Cornell University)|2019. 02. 02.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 3

한 줄 요약

이 논문은 서브-가우시안 보상이 있는 스토하스틱 다익절 암보 밴드잇에서 페르터베이션 기반 알고리즘에 대한 최초의 통합적 리그레트 분석을 수립하며, 서브-웨이블 및 유한 지지 페르터베이션에 대해 인스턴스 최적의 경계를 증명한다. 또한, 페르터베이션을 통한 최소 최대 최적성 달성에 있어 근본적인 장벽을 규명하며, 최적의 페르터베이션은 프레셰 타입이어야 하며, 특히 타르스츠 엔트로피 정규화가 알려진 페르터베이션 기반 방법에 비해 슈퍼어리어스 설정에서 여전히 뛰어난 성능을 보임을 시사한다.

ABSTRACT

We investigate the optimality of perturbation based algorithms in the stochastic and adversarial multi-armed bandit problems. For the stochastic case, we provide a unified regret analysis for both sub-Weibull and bounded perturbations when rewards are sub-Gaussian. Our bounds are instance optimal for sub-Weibull perturbations with parameter 2 that also have a matching lower tail bound, and all bounded support perturbations where there is sufficient probability mass at the extremes of the support. For the adversarial setting, we prove rigorous barriers against two natural solution approaches using tools from discrete choice theory and extreme value theory. Our results suggest that the optimal perturbation, if it exists, will be of Frechet-type.

연구 동기 및 목표

• 서브-가우시안 보상이 있는 스토하스틱 다익절 암보 밴드잇에서 페르터베이션 기반 알고리즘에 대한 통합적 리그레트 분석을 제공한다.
• 특히 서브-웨이블 및 유한 지지 페르터베이션에 대해 페르터베이션 기반 알고리즘이 인스턴스 최적의 리그레트를 달성할 수 있는 조건을 규명한다.
• 페르터베이션을 통해 악성 밴드잇에서 최소 최대 최적의 성능을 달성할 수 있는지 조사한다. 이는 타르스츠 엔트로피 정규화의 성능을 따라잡는 것을 목표로 한다.
• 악성 설정에서 페르터베이션을 통한 최소 최대 최적성 달성에 있어 두 가지 자연스러운 접근 방식에 대한 이론적 장벽을 수립한다.

제안 방법

• 서브-웨이블 및 유한 지지 페르터베이션을 사용하여 서브-가우시안 보상 하에서 페르터베이션 기반 알고리즘의 일반적 리그레트 경계를 유도한다.
• 극단가 이론과 이산 선택 이론을 적용하여 페르터베이션 분포의 꼬리 행동과 리그레트에 미치는 영향을 분석한다.
• 감마 레미너의 보조정리와 정규화 및 페르터베이션 간의 연결 고리를 활용하여 가우시안 사전 분포를 가진 톰슨 샘플링을 페르터베이션 알고리즘으로 재해석한다.
• Abernethy 등 [2]의 위험률 조건을 사용하여 페르터베이션 분포를 분류하고, 이들이 악성 밴드잇에 적합한지 평가한다.
• 타르스츠 엔트로피가 유도하는 선택 확률 함수를 분석하고, K ≥ 4개의 암보가 존재할 경우 어떤 페르터베이션도 이를 정확히 재현할 수 없음을 보여준다.
• 극한가 이론과 점차적 꼬리 행동을 기반으로, 타르스츠 엔트로피와 동일한 성능을 내기 위해선 페르터베이션의 형태가 반드시 프레셰 타입이어야 한다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 서브-가우시안 보상이 있는 스토하스틱 다익절 암보 밴드잇에서 페르터베이션 기반 알고리즘이 언제 인스턴스 최적의 리그레트를 달성하는가?
• RQ2 페르터베이션은 악성 밴드잇에서 타르스츠 엔트로피 정규화의 최소 최대 최적 리그레트를 재현할 수 있는가?
• RQ3 엔트로피 기반 정규화 기법(예: 타르스츠 엔트로피)의 성능을 따라잡기 위해 페르터베이션에 이론적 장벽이 존재하는가?
• RQ4 악성 밴드잇에서 최적의 페르터베이션 기반 알고리즘을 위해 필요한 분포의 클래스(예: 프레셰, 감마)는 무엇인가?
• RQ5 다익절 암보 밴드잇에서 FTRL에 타르스츠 엔트로피 정규화를 적용했을 때의 선택 확률을 정확히 모방할 수 있는 페르터베이션 분포가 존재하는가?

주요 결과

• 서브-웨이블 페르터베이션(파라미터 2)과 대응하는 하부 꼬리 경계, 그리고 극단에 충분한 질량을 가진 유한 지지 페르터베이션에 대해 인스턴스 최적의 리그레트 경계를 수립한다.
• 유한 지지 페르터베이션의 경우 균일분포 및 라데마허 분포를 포함하여, 신뢰구간 경계에서 무작위로 선택하는 UCB의 무작위 변형에 대해 새로운 리그레트 경계를 도출한다.
• 가우시안 사전과 보상이 존재할 경우 톰슨 샘플링이 가우시안 페르터베이션을 사용하는 페르터베이션 기반 알고리즘과 동치임을 보여주며, 이는 이전의 가우시안 설정에 국한된 결과를 일반화한다.
• K ≥ 4일 경우, FTRL에 타르스츠 엔트로피 정규화를 적용했을 때의 선택 확률을 어떤 페르터베이션도 정확히 재현할 수 없다는 것을 증명하여 핵심적인 열린 문제를 해결한다.
• 기존 페르터베이션의 분석을 개선해도 리그레트 경계에서 O(√(log K)) 요소를 제거할 수 없으며, 이는 현재 페르터베이션 가족의 본질적 한계를 시사한다.
• 결과적으로, 최적의 페르터베이션이 존재한다면 극한가 이론과 꼬리 행동의 점근적 성질을 바탕으로 반드시 프레셰 타입이어야 한다고 제안한다.