[논문 리뷰] Tracking the Best Expert in Non-stationary Stochastic Environments

Chen-Yu Wei, Yi-Te Hong외 1명|arXiv (Cornell University)|2017. 12. 02.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 16

한 줄 요약

이 논문은 비stationary한 확률적 환경에서 손실 분포의 총 통계적 분산을 측정하는 새로운 파라미터 $Λ$를 도입하여 다익정형 밴딧 및 풀정보 설정에서의 리그레트 분석을 정교화한다. 조건부 $Λ$가 일정할 때조차도 밴딧 리그레트는 $T$에 따라 증가하는 반면, 풀정보 리그레트는 $Γ$와 $Λ$가 일정할 경우 상수로 유지될 수 있으며, $V$와 $Λ$가 일정할 경우 $T^{1/3}$ 의존성을 보일 수 있으며, 상하한이 일치하는 결과를 제시한다.

ABSTRACT

We study the dynamic regret of multi-armed bandit and experts problem in non-stationary stochastic environments. We introduce a new parameter $Λ$, which measures the total statistical variance of the loss distributions over $T$ rounds of the process, and study how this amount affects the regret. We investigate the interaction between $Λ$ and $Γ$, which counts the number of times the distributions change, as well as $Λ$ and $V$, which measures how far the distributions deviates over time. One striking result we find is that even when $Γ$, $V$, and $Λ$ are all restricted to constant, the regret lower bound in the bandit setting still grows with $T$. The other highlight is that in the full-information setting, a constant regret becomes achievable with constant $Γ$ and $Λ$, as it can be made independent of $T$, while with constant $V$ and $Λ$, the regret still has a $T^{1/3}$ dependency. We not only propose algorithms with upper bound guarantee, but prove their matching lower bounds as well.

연구 동기 및 목표

• 손실 분포의 총 통계적 분산을 측정하는 새로운 파라미터 $Λ$를 도입하여 비stationary한 환경에서 리그레트에 미치는 비stationarity의 영향을 이해하기 위해.
• $Λ$, $Γ$ (분포 변화 수), $V$ (평균의 총 이탈) 간의 상호작용이 리그레트 한계를 결정하는 방식을 분석하기 위해.
• 비stationary한 확률적 설정에서 기존 상한과 하한 간의 격차를 메우기 위해 일치하는 리그레트 하한을 증명하기 위해.

제안 방법

• $Λ$를 $T$라운드 동안 손실 분포의 분산의 합으로 정의하여, $Γ$와 $V$를 초월한 비stationarity의 정교한 측정을 제공한다.
• 적대적인 손실 분포 시퀀스를 구성하여 어떤 알고리즘도 높은 리그레트를 초래하도록 유도함으로써, 리그레트 하한을 도출하기 위해 감소 기반 증명 전략을 사용한다.
• KL 발산과 농도 부등식을 활용하여, 시간 간격 내에서 알고리즘이 비최적의 암을 선택할 기대 횟수를 제한하기 위해 조건부 기대값을 적용한다.
• 길이 $B = \sqrt[3]{\Lambda T / (32K V^2)}$ 의 간격들 사이에서 손실 분포를 재귀적으로 구성함으로써, 분산과 평균 이동이 유한하게 유지되도록 보장한다.
• 레마 4.4를 활용하여 평균 간격 $\epsilon$, 분산 $\sigma^2$, KL 발산 $\leq \epsilon^2 / \sigma^2$ 를 제어할 수 있는 분포 $\mathcal{P}$ 와 $\mathcal{Q}$ 가 존재함을 보장함으로써, 날카운 리그레트 분석이 가능해진다.
• $\Lambda$, $V$, $\Gamma$, $T$ 간의 상호작용을 분석함으로써, 밴딧 및 풀정보 설정 모두에서 일치하는 상한과 하한을 도출한다.

실험 결과

연구 질문

• RQ1 손실 분포의 총 통계적 분산 $\Lambda$ 는 비stationary한 확률적 환경에서 리그레트에 어떤 영향을 미치는가?
• RQ2 모든 $T$ 에 걸쳐 $\Gamma$ 와 $\Lambda$ 가 유한할 경우, 풀정보 설정에서 상수 리그레트를 달성할 수 있는가?
• RQ3 모든 $\Gamma$, $V$, $\Lambda$ 가 일정할 경우, 밴딧 설정에서 리그레트의 본질적 한계는 무엇인가?
• RQ4 $\Lambda$, $V$, $\Gamma$ 가 비stationary한 확률적 온라인 학습에서 리그레트 하한을 결정하는 데 어떻게 상호작용하는가?
• RQ5 $V$ 와 $\Lambda$ 가 일정할 경우, 심지어 풀정보 설정에서도 리그레트에 $T^{1/3}$ 의존성이 피할 수 없는가?

주요 결과

• 밴딧 설정에서는 조건부 $\Gamma$, $V$, $\Lambda$ 가 일정하더라도 리그레트 하한이 $\Omega(\sqrt[3]{\Lambda V T} + \sqrt{V T})$ 로 증가함을 보여주며, 비stationarity가 유한함에도 불구하고 $T$-의존성이 지속됨을 시사한다.
• 풀정보 설정에서는 $\Gamma$ 와 $\Lambda$ 가 유한할 경우 상수 리그레트를 달성할 수 있으며, 이는 리그레트가 $T$ 와 무관해짐을 의미한다.
• $V$ 와 $\Lambda$ 가 일정할 경우, 풀정보 설정에서 리그레트 하한은 $\Omega(\sqrt[3]{\Lambda V T})$ 이며, 이는 상한과 일치하며 $T^{1/3}$ 의존성이 피할 수 없음을 보여준다.
• 논문은 $\sqrt[3]{\Lambda V T}$ 항이 풀정보 및 밴딧 설정 모두에서 날카롭게 유지됨을 증명하며, 상하한이 일치함을 보였다.
• 레마 4.4를 통해 평균 간격, 분산, KL 발산을 제어할 수 있는 분포 $\mathcal{P}$ 와 $\mathcal{Q}$ 가 존재함을 공식적으로 증명함으로써, 리그레트 하한을 위한 어려운 사례를 구성할 수 있게 되었다.
• 분석 결과, 비록 $\Lambda$, $\Gamma$, $V$ 가 유한하더라도 밴딧 설정은 풀정보 설정보다 본질적으로 더 어려운 문제임을 드러내며, 리그레트의 $T$-의존성이 제거되지 않음을 보여준다.