[논문 리뷰] No Weighted-Regret Learning in Adversarial Bandits with Delays

Ilai Bistritz, Zhengyuan Zhou외 3명|arXiv (Cornell University)|2021. 03. 08.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 지연이 있는 악성 밴딧에서 가중 없는 회귀 학습을 도입하여, 큰 지연으로 인해 선형 회귀가 발생하더라도 FKM 및 EXP3 알고리즘은 여전히 가중 평균 기여도 분포가 일반화된 상호협력 균형(CCE)으로 수렴하고, 두 명의 플레이어가 참가하는 0-합 게임에서 가중 평균이 내쉬 균형으로 수렴함을 보여준다. 핵심 기여는 알려지지 않은 지연 조건에서도 최적의 회귀 스케일링을 유지하는 새로운 듀얼링 기법으로, 이는 지연된 피드백이 있는 비알고리즘 게임 시뮬레이션에서 강력한 균형 근사치를 가능하게 한다.

ABSTRACT

Consider a scenario where a player chooses an action in each round $t$ out of $T$ rounds and observes the incurred cost after a delay of $d_{t}$ rounds. The cost functions and the delay sequence are chosen by an adversary. We show that in a non-cooperative game, the expected weighted ergodic distribution of play converges to the set of coarse correlated equilibria if players use algorithms that have "no weighted-regret" in the above scenario, even if they have linear regret due to too large delays. For a two-player zero-sum game, we show that no weighted-regret is sufficient for the weighted ergodic average of play to converge to the set of Nash equilibria. We prove that the FKM algorithm with $n$ dimensions achieves an expected regret of $O\left(nT^{\frac{3}{4}}+\sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}} ight)$ and the EXP3 algorithm with $K$ arms achieves an expected regret of $O\left(\sqrt{\log K\left(KT+D ight)} ight)$ even when $D=\sum_{t=1}^{T}d_{t}$ and $T$ are unknown. These bounds use a novel doubling trick that, under mild assumptions, provably retains the regret bound for when $D$ and $T$ are known. Using these bounds, we show that FKM and EXP3 have no weighted-regret even for $d_{t}=O\left(t\log t ight)$. Therefore, algorithms with no weighted-regret can be used to approximate a CCE of a finite or convex unknown game that can only be simulated with bandit feedback, even if the simulation involves significant delays.

연구 동기 및 목표

• 큰 지연 조건에서 표준의 가중 없는 회귀 알고리즘이 선형 회귀로 인해 실패하므로, 다중 에이전트 온라인 학습에서 지연 피드백의 문제를 다루는 것.
• 기존의 회귀가 선형일 경우에도 가중 없는 회귀 학습이 비협력적 및 0-합 게임에서 일반화된 상호협력 균형(CCE)과 내쉬 균형(NE)으로의 수렴을 가능하게 함을 입증하는 것.
• 모든 온라인 학습 알고리즘에 적용 가능한 일반 목적의 듀얼링 기법을 개발하여, 알려지지 않은 수렴 시간 $T$와 총 지연 $D$ 조건에서도 회귀 경계의 주요 순서를 유지하는 것.
• FKM 및 EXP3와 같은 널리 사용되는 알고리즘이 유한하지 않은 지연(예: $d_t = O(t\log t)$) 조건에서도 가중 없는 회귀 학습을 달성함을 보여주며, 이는 지연된 피드백이 있는 알려지지 않은 게임의 시뮬레이션에 활용 가능함을 보여주는 것.
• 비정적이고 악성 환경에서 전통적 회귀보다 더 강력한 성능 지표인 가중 회귀를 도입함으로써, 지연이 있는 온라인 학습의 이론적 기반을 확장하는 것.

제안 방법

• 지연된 피드백을 고려하는 악성 밴딧에서, 가중 회귀 개념을 도입하여 회귀를 지연 요소를 반영하는 수열에 따라 가중치를 적용하는 방식을 제안한다.
• 알려지지 않은 $T$와 $D$ 조건에서도 알고리즘의 파rameter(예: 스텝 사이즈)를 적응적으로 조정할 수 있는 새로운 듀얼링 기법을 제안하며, 이는 회귀 경계의 渐近적 순서를 유지한다.
• n차원 공간에서 FKM 알고리즘을 분석하여, 지연된 피드백 조건 하에서 기대 회귀 경계가 $O\left(nT^{\frac{3}{4}} + \sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}}\right)$임을 도출한다.
• K개의 암을 갖는 EXP3 알고리즘을 분석하여, 기대 회귀 경계가 $O\left(\sqrt{\log K\left(KT + D\right)}\right)$임을 도출한다. 여기서 $D = \sum_{t=1}^T \min\{d_t, T-t+1\}$이다.
• 가중 수열이 알고리즘의 스텝 사이즈 수열과 일치할 경우, FKM 및 EXP3가 조건이 무한한 지연(예: $d_t = O(t\log t)$) 조건에서도 여전히 가중 없는 회귀 학습을 달성함을 입증한다.
• 가중 없는 회귀 학습이 일반적인 비협력 게임에서 기대 가중 기여도 분포가 CCE 집합으로 수렴하고, 두 명의 플레이어가 참가하는 0-합 게임에서 기대 가중 평균 기여도가 $L^1$ 수렴을 통해 NE 집합으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 지연으로 인해 기존의 회귀가 선형일 경우, 가중 없는 회귀 학습이 비협력 게임에서 여전히 일반화된 상호협력 균형(CCE)으로의 수렴을 이끌 수 있는가?
• RQ2 지연된 피드백 조건 하에서 가중 없는 회귀 학습이 두 명의 플레이어가 참가하는 0-합 게임에서 내쉬 균형(NE)으로의 수렴을 보장하는가?
• RQ3 알려지지 않은 $T$와 $D$ 조건에서도 최적의 회귀 스케일링을 유지하는 듀얼링 기법을 설계할 수 있는가?
• RQ4 FKM 및 EXP3가 $d_t = O(t\log t)$와 같은 유한하지 않은 지연 수열 조건에서도 선형 기존 회귀가 발생하더라도 여전히 가중 없는 회귀 학습을 달성할 수 있는가?
• RQ5 가중 회귀 프레임워크를 내부 회귀로 확장하여 지연된 피드백 환경에서 상호협력 균형을 근사할 수 있는가?

주요 결과

• 제안된 듀얼링 기법 덕분에, $T$와 $D$가 알려지지 않은 상태에서도 FKM 알고리즘이 지연된 피드백 조건 하에서 기대 회귀 경계가 $O\left(nT^{\frac{3}{4}} + \sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}}\right)$임을 확보한다.
• EXP3 알고리즘은 $T$와 $D$가 알려지지 않은 조건에서도 듀얼링 기법을 통해 기대 회귀 경계가 $O\left(\sqrt{\log K\left(KT + D\right)}\right)$임을 확보하며, 이는 회귀 경계의 순서를 유지함을 보여준다.
• 지연 수열이 $d_t = O(t\log t)$일 경우 선형 기존 회귀가 발생하더라도, FKM 및 EXP3는 스텝 사이즈 수열을 가중치로 사용함으로써 가중 없는 회귀 학습을 달성하며, 이는 균형 수렴을 가능하게 한다.
• 모든 플레이어가 가중 없는 회귀 학습 알고리즘을 사용할 경우, 기대 가중 기여도 분포가 일반화된 상호협력 균형(CCE) 집합으로 수렴함을 보여준다. 이는 악성 지연 조건 하에서도 성립한다.
• 두 명의 플레이어가 참가하는 0-합 게임에서, 플레이어들이 가중 없는 회귀 학습 알고리즘을 사용할 경우, 기대 가중 기여도 평균이 $L^1$ 수렴을 통해 내쉬 균형(NE) 집합으로 수렴한다.
• 제안된 듀얼링 기법은 즉시 적용 가능하며, $T$와 $D$가 알려지지 않은 상태에서도 회귀 경계의 渐近적 의존성($T$ 및 $D$ 기반)을 정확히 유지함을 증명할 수 있다.