[논문 리뷰] Bridging Adversarial and Nonstationary Multi-armed Bandit

Ningyuan Chen, Shuoguang Yang외 1명|arXiv (Cornell University)|2022. 01. 05.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 최적 행동 시퀀스의 전환 횟수를 제어하는 스위치 예산 $S_T$를 통해 악성 및 비정상적 밴딧을 통합하는 유일한 다중 손잡이 밴딧 프레임워크를 제안한다. 제안된 AE3 알고리즘은 $S_T$와 변동 예산 $V_T$에 따라 악성($\tilde{O}(\sqrt{KS_T T})$)과 비정상적($\tilde{O}((KV_T)^{1/3}T^{2/3})$) 영역 간에 부드럽게 전이되는 근사 최적의 누적 손실을 달성하며, 임계점은 $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$에서 발생한다.

ABSTRACT

In the multi-armed bandit framework, there are two formulations that are commonly employed to handle time-varying reward distributions: adversarial bandit and nonstationary bandit. Although their oracles, algorithms, and regret analysis differ significantly, we provide a unified formulation in this paper that smoothly bridges the two as special cases. The formulation uses an oracle that takes the best-fixed arm within time windows. Depending on the window size, it turns into the oracle in hindsight in the adversarial bandit and dynamic oracle in the nonstationary bandit. We provide algorithms that attain the optimal regret with the matching lower bound.

연구 동기 및 목표

• 오рак불, 알고리즘, 누적 손실 경계가 상이한 악성 및 비정상적 밴딧 프레임워크 간 격차를 해소한다.
• 스위치 예산 $S_T$를 사용해 두 환경을 하나의 수식으로 통합한다. 이는 허용 가능한 행동 전환 횟수를 제어한다.
• $S_T$와 $V_T$에 동적으로 적응함으로써 악성 및 비정상적 환경에 모두 적응하는 알고리즘을 개발한다.
• $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$에서 발생하는 단계 전이를 반영하는 날카운 누적 손실 경계를 확립한다. 이는 보수성과 적응성 간의 상충을 반영한다.
• 알고리즘의 최적성과 강건성을 다양한 수준의 비정상성과 스위치 제약 조건에서 이론적 및 실증적으로 검증한다.

제안 방법

• 통합 오라이클은 최대 $S_T$회의 전환을 허용하는 모든 행동 시퀀스에 대해 누적 보상의 최대값으로 정의되며, $S_T = 1$일 땐 정적 오라이클, $S_T \geq T$일 땐 동적 오라이클로 해석된다.
• 현재 추정치의 이용과 전환점 탐색의 균형을 이루기 위해 시간에 따라 변하는 신뢰 구간을 사용하는 적응형 탐색 전략을 설계한다.
• AE3 알고리즘은 $S_T$가 작을 경우 시간 영역을 $\Delta = \lceil T / S_T \rceil$ 크기의 블록으로 분할하고, 각 블록 내에서 수정된 EXP3 스타일 업데이트를 적용한다.
• 누적 손실 분석은 두 영역에서 수행된다: $S_T \geq K^{-1/3}V_T^{2/3}T^{1/3}$일 경우, 누적 손실은 $\tilde{O}((KV_T)^{1/3}T^{2/3})$ 비례로 증가하며, $S_T \leq K^{-1/3}V_T^{2/3}T^{1/3}$일 경우 $\tilde{O}(\sqrt{KS_T T})$ 비례로 증가한다.
• 누적 손실 경계가 로그 인자 외에 정확하게 날카로운 상한을 제공함을 보여주는 하한선을 유도한다. 이는 AE3 알고리즘이 최적임을 확인한다.
• 실증 검증을 위해 $T$, $K$, $S_T$, $V_T$의 다양한 조합에서 시뮬레이션을 수행하였으며, 로그-로그 플롯을 통해 이론적 기울기 $2/3$, $1/3$, $1/2$가 각각 $T$, $V_T$, $K$에 대해 확인되었다.

실험 결과

연구 질문

• RQ1 연속적인 매개변수를 갖는 단일 프레임워크 내에서 악성 및 비정상적 밴딧 문제를 공식적으로 통합할 수 있는가?
• RQ2 비정상적 환경에서 스위치 예산 $S_T$로 제약을 받는 에이전트가 달성할 수 있는 최적의 누적 손실은 무엇인가?
• RQ3 임계 스위치 예산 $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$에서 누적 손실이 단계 전이를 보이며, 이는 경계에 어떻게 나타나는가?
• RQ4 에이전트가 $S_T$에 대한 사전 지식 없이도 악성 및 비정상적 영역에서 근사 최적의 누적 손실을 달성할 수 있는가?
• RQ5 제안된 AE3 알고리즘이 두 영역 모두에서 최적인지이며, 실증 결과가 이론적 예측과 일치하는가?

주요 결과

• 스위치 예산 $S_T$가 크면($S_T \geq K^{-1/3}V_T^{2/3}T^{1/3}$), 누적 손실은 $\tilde{O}((KV_T)^{1/3}T^{2/3})$로 경계되며, 이는 비정상적 밴딧의 하한선과 일치한다.
• 스위치 예산 $S_T$가 작으면($S_T \leq K^{-1/3}V_T^{2/3}T^{1/3}$), 누적 손실은 $\tilde{O}(\sqrt{KS_T T})$로 경계되며, 이는 악성 밴딧의 하한선과 일치한다.
• 누적 손실은 $S_T \asymp K^{-1/3}V_T^{2/3}T^{1/3}$에서 단계 전이를 보이며, 주된 스케일링 요소가 $S_T$에서 $V_T$로 변화한다.
• 실증 결과는 이론적 기울기를 확인한다: $\log$-누적 손실 대 $\log T$는 기울기 $2/3$, $\log V_T$는 기울기 $1/3$, $\log K$는 영역에 따라 기울기 $1/3$ 또는 $1/2$이다.
• 손잡이 수 $K$는 큰 $S_T$ 영역에선 $K^{1/3}$ 비례로, 작은 $S_T$ 영역에선 $K^{1/2}$ 비례로 누적 손실에 영향을 주며, 이는 이론적 경계와 일치한다.
• AE3는 두 영역 모두에서 근사 최적을 달성하며, 다양한 시뮬레이션 설정에서 이론적 예측과 매우 유사한 실증 성능을 보였다.