[논문 리뷰] Tight Lower Bounds for Multiplicative Weights Algorithmic Families

Nick Gravin, Yuval Peres외 1명|arXiv (Cornell University)|2016. 07. 11.

Coding theory and cryptography인용 수 4

한 줄 요약

이 논문은 전문가 예측 문제에서 다중 가중치 알고리즘 가족의 낙제 하한을 날카롭게 규명한다. 새로운 적대적 원리(primitives)를 사용하여 고전적 다중 가중치 알고리즘이 정확히 $\sqrt{\frac{T\ln k}{2}}$의 낙제를 달성함을 증명함으로써 오랫동안 존재하던 상한과 하한 사이의 격차를 완전히 해소한다. 더 나아가 시간에 따라 변하는 또는 무작위로 분포하는 학습률을 가진 더 넓은 가족에 대해 $\frac{2}{3}$ 요소 하한을 도출하고 기하학적 수렴 설정에서의 정확한 낙제를 특성화한다.

ABSTRACT

We study the fundamental problem of prediction with expert advice and develop regret lower bounds for a large family of algorithms for this problem. We develop simple adversarial primitives, that lend themselves to various combinations leading to sharp lower bounds for many algorithmic families. We use these primitives to show that the classic Multiplicative Weights Algorithm (MWA) has a regret of $\sqrt{\frac{T \ln k}{2}}$, there by completely closing the gap between upper and lower bounds. We further show a regret lower bound of $\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$ for a much more general family of algorithms than MWA, where the learning rate can be arbitrarily varied over time, or even picked from arbitrary distributions over time. We also use our primitives to construct adversaries in the geometric horizon setting for MWA to precisely characterize the regret at $\frac{0.391}{\sqrtδ}$ for the case of $2$ experts and a lower bound of $\frac{1}{2}\sqrt{\frac{\ln k}{2δ}}$ for the case of arbitrary number of experts $k$.

연구 동기 및 목표

• 유한 수렴 전문가 예측 문제에서 고전적 다중 가중치 알고리즘(MWA)의 알려진 상한과 하한 사이의 낙제 격차를 해소하기 위해.
• 넓은 학습 알고리즘 가족에 대해 날카로운 낙제 하한을 도출할 수 있는 적대적 원리의 일반적 프레임워크를 개발하기 위해.
• 고정된 학습률을 넘어서 시간에 따라 변하는, 감소하는, 그리고 확률적으로 선택된 학습률을 포함한 분석을 확장하기 위해.
• 정지가 매개변수 $\delta$를 가진 무기억적인 기하학적 수렴 설정에서의 낙제를 정확히 특성화하기 위해.

제안 방법

• 특정 패턴의 전문가 진전(예: '순환' 및 '직선' 단계)을 기반으로 한 적대적 전략을 설계하여 성능이 열 劣화되도록 유도하기 위해.
• 점근적 근사와 테일러 전개를 사용하여 $e^{\eta(t)} = 1 + \frac{\alpha(t)}{\sqrt{T}}$ 이며 $\alpha(t) = \Theta(1)$ 라는 가정 하에 낙제 표현을 추정하기 위해.
• 변분 기법과 적분 근사를 적용하여 시간에 따른 낙제 기여도의 합을 근사하고, $\int_0^1 \sqrt{1-x} \, dx$ 형태의 적분으로 환원하기 위해.
• 대칭적인 전문가 진전과 단일 전문가 집중을 번갈아가며 적용하여 낙제 기여도를 고립하고 증폭시키기 위해.
• 랜덤 매개변수(예: 랜덤 시작 단계)에 대한 확률적 평균을 사용하여 알고리즘 가족 전반에 걸쳐 강건한 하한을 도출하기 위해.
• 문제를 할인된 무한 수렴 마코프 결정 과정으로 모델링하고 최적의 적대적 구조를 도출함으로써 결과를 기하학적 수렴으로 확장하기 위해.

실험 결과

연구 질문

• RQ1 고정된 학습률을 가진 고전적 다중 가중치 알고리즘의 정확한 낙제는 얼마인가요?
• RQ2 시간에 따라 변하거나 무작위로 분포하는 학습률을 가진 알고리즘 가족의 낙제 하한은 어떻게 스케일링되나요?
• RQ3 일반적인 알고리즘 가족에 대해 $\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$를 초월한 낙제 하한을 향상시킬 수 있나요?
• RQ4 특히 $k=2$일 경우, $k$명의 전문가가 있는 기하학적 수렴 모델에서 정확한 낙제는 무엇인가요?
• RQ5 구조화된 전문가 진전 패턴에 기반한 적대적 전략은 하한 유도 과정에 어떻게 영향을 미치나요?

주요 결과

• 고전적 다중 가중치 알고리즘은 정확히 $\sqrt{\frac{T\ln k}{2}}$의 낙제를 달성하며, 알려진 상한과 하한 사이의 격차를 완전히 해소한다.
• 시간에 따라 변하는 분포에서 학습률이 추출되는 더 넓은 가족 $\mathcal{A}_{\text{rand}}$의 경우, 낙제는 최소 $\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$이다.
• 홀수 $k$에 대해 하한은 $\frac{2}{3}\sqrt{\frac{T\ln k}{2}\left(1 - \frac{1}{k^2}\right)}$이며, 대칭성 붕괴로 인한 작은 수정을 반영한다.
• 두 전문가($k=2$)가 있는 기하학적 수렴 모델에서 최적의 낙제는 $\delta \to 0$일 때 정확히 $\frac{0.391}{\sqrt{\delta}}$이다.
• 일반적인 $k$에 대해 기하학적 수렴에서는 낙제가 최소 $\frac{1}{2}\sqrt{\frac{\ln k}{2\delta}}$ 이상이다.
• 하한을 도출하기 위해 $e^{\eta(t)} = 1 + \frac{\alpha(t)}{\sqrt{T}}$ 이며 $\alpha(t) = \Theta(1)$ 라는 가정은 일반성을 잃지 않고 사용할 수 있다.