[논문 리뷰] On the optimality of the Hedge algorithm in the stochastic regime

Jaouad Mourtada, Stéphane Gaïffas|arXiv (Cornell University)|2018. 09. 05.

Advanced Bandit Algorithms Research인용 수 14

한 줄 요약

이 논문은 감소하는 학습률 $\eta_t \propto \sqrt{\log M / t}$를 갖는 anytime Hedge 알고리즘은 적대적 환경이 아닌 스 tochastic 환경에서도 최적의 $O(\log M / \Delta)$의 손실을 달성함을 보여준다—최고의 적응형 알고리즘과 동일한 성능을 내며, 특별한 튜닝 없이도 가능하다. 간단한 비적응형 학습률임에도 불구하고, 이 알고리즘은 더 쉬운 스 tochastic 환경에 적응하여, 적응하지 못하는 고정된 시간 범위 및 듀플리케이션 트릭 변형보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we study the behavior of the Hedge algorithm in the online stochastic setting. We prove that anytime Hedge with decreasing learning rate, which is one of the simplest algorithm for the problem of prediction with expert advice, is surprisingly both worst-case optimal and adaptive to the easier stochastic and adversarial with a gap problems. This shows that, in spite of its small, non-adaptive learning rate, Hedge possesses the same optimal regret guarantee in the stochastic case as recently introduced adaptive algorithms. Moreover, our analysis exhibits qualitative differences with other variants of the Hedge algorithm, such as the fixed-horizon version (with constant learning rate) and the one based on the so-called "doubling trick", both of which fail to adapt to the easier stochastic setting. Finally, we discuss the limitations of anytime Hedge and the improvements provided by second-order regret bounds in the stochastic case.

연구 동기 및 목표

• 전문가 손실이 i.i.d.이고 최고의 전문가가 일정한 갭 $\Delta$를 갖는 스 tochastic 설정에서 anytime Hedge 알고리즘의 성능을 분석하는 것.
• 적대적 설정을 위해 설계된 표준 Hedge가 명시적인 튜닝 없이도 더 쉬운 스 tochastic 사례에 적응할 수 있는지 확인하는 것.
• 적응성 측면에서 anytime Hedge 변형과 고정된 시간 범위 및 듀플리케이션 트릭 변형을 비교하는 것.
• 낮은 노이즈 시나리오를 모델링하는 베르누이 조건 하에서 anytime Hedge의 한계를 규명하는 것.
• 더 적응형 알고리즘이 복잡도 측정 기준에서 갭 $\Delta$를 초월해 표준 알고리즘보다 개선을 이룰 수 있는지 평가하는 것.

제안 방법

• 모든 $T \geq 1$에 대해 anytime 손실 경계를 보장하기 위해 감소하는 학습률 $\eta_t = c_0 \sqrt{\log M / t}$를 사용한다.
• 시간에 따른 기대 손실로 손실을 분해하며, Hedge의 지수 가중 메커니즘을 활용해 열악한 전문가의 영향을 제한한다.
• 최상의 전문가와 열악한 전문가 간 누적 손실 차이의 尾確率를 제어하기 위해 허프딩 부등식을 적용한다.
• 상수 손실 $\ell_{1,t} = 0$, $\ell_{i,t} = \Delta$를 갖는 하한 경계 인스턴스를 구성하여 $(1,1)$-베르누이 조건을 만족시킨다.
• 열악한 전문가에게 상당한 가중치를 할당할 확률을 제한함으로써 기대 손실의 하한을 유도한다.
• 베르누이 조건 하에서 Decreasing Hedge의 손실을 더 적응형 알고리즘과 비교하여, 일부 낮은 노이즈 영역에서의 비최적성을 보여준다.

실험 결과

연구 질문

• RQ1 감소하는 학습률을 갖는 anytime Hedge 알고리즘이 스 tochastic 설정에 적응하여 최악의 경우보다 나은 손실을 달성할 수 있는가?
• RQ2 고정된 시간 범위 및 듀플리케이션 트릭 변형과 비교해 anytime Hedge의 성능은 스 tochastic 환경에서 어떻게 되는가?
• RQ3 낮은 노이즈 학습을 모델링하는 베르누이 조건 하에서 표준 Hedge 알고리즘이 최적의 손실을 달성할 수 있는가?
• RQ4 갭 $\Delta$를 초월해 anytime Hedge의 스 tochastic 환경 내에서의 본질적 한계는 무엇인가?
• RQ5 더 적응형 알고리즘은 복잡한 스 tochastic 사례에서 갭 $\Delta$를 초월해 표준 Hedge보다 증명 가능한 개선을 이룰 수 있는가?

주요 결과

• 감소하는 학습률 $\eta_t \propto \sqrt{\log M / t}$를 갖는 anytime Hedge 알고리즘은 스 tochastic 설정에서 최적의 손실 경계 $O(\log M / \Delta)$를 달성하며, 최고의 적응형 알고리즘과 동일한 성능을 보인다.
• 고정된 시간 범위 Hedge 변형은 $\eta_t = \sqrt{\log M / T}$로 설정되어 있어 스 tochastic 케이스에서도 $\Theta(\sqrt{T \log M})$의 손실을 겪으며, 이는 적응하지 못함을 보여준다.
• 감소하는 학습률을 갖는 anytime Hedge 알고리즘은 파rameter $\beta < 1$인 베르누이 조건 하에서 개선된 손실을 달성하지 못하며, 이는 낮은 노이즈 영역에서의 근본적인 한계를 시사한다.
• Decreasing Hedge의 손실에 대해 $\Omega(1/(c_0^4 (\log M)^2 \Delta))$의 하한이 확립되었으며, 이는 특정 조건 하에서 더 이상 향상될 수 없음을 보여준다.
• 분석 결과, 두 번째 차수 경계를 만족하는 더 적응형 알고리즘은 갭 $\Delta$를 초월해 복잡한 스 tochastic 사례에서 표준 Hedge보다 뛰어난 성능을 보임을 확인하였다.