[논문 리뷰] Prediction with Corrupted Expert Advice

Idan Amir, Idan Attias외 3명|arXiv (Cornell University)|2020. 02. 24.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 5

한 줄 요약

이 논문은 적응형 승수 가중치 알고리즘을 제안하며, 단계 크기를 감소시키는 방식으로 적대적으로 손상된 확률적 손실 하에서 예측 전문가 조언 문제에서 일정한 누적 손실을 달성한다. 이 변형이 $\Theta(\log N / \Delta + C)$의 최적 손실 스케일링을 달성함을 증명하며, 이는 시간 경과 $T$에 관계없이 성립하고, 이 분야에서 온라인 미러 디센트(Optimal Mirror Descent, OMD)보다 뛰어나며, 손상된 환경에서 FTRL과 OMD 프레임워크 간의 근본적인 차이를 보여준다.

ABSTRACT

We revisit the fundamental problem of prediction with expert advice, in a setting where the environment is benign and generates losses stochastically, but the feedback observed by the learner is subject to a moderate adversarial corruption. We prove that a variant of the classical Multiplicative Weights algorithm with decreasing step sizes achieves constant regret in this setting and performs optimally in a wide range of environments, regardless of the magnitude of the injected corruption. Our results reveal a surprising disparity between the often comparable Follow the Regularized Leader (FTRL) and Online Mirror Descent (OMD) frameworks: we show that for experts in the corrupted stochastic regime, the regret performance of OMD is in fact strictly inferior to that of FTRL.

연구 동기 및 목표

• 손실이 확률적으로 생성되지만 적대적으로 손상될 수 있는 상황에서 최적의 손실을 달성하는 데 도전한다.
• 이전 연구가 밴딧 설정에 집중한 바 있는, 손상된 상황에서의 전체 정보 전문가 문제에 대한 손실 성능에 대한 이해 격차를 메운다.
• 손상된 상황에서 전체 정보 피드백이 전문가 수 $N$에 대한 선형 의존도를 로그 의존도로 줄일 수 있는지 조사한다.
• FTRL 기반 알고리즘(예: 제안된 적응형 승수 가중치 알고리즘)이 손상된 확률적 환경에서 OMD 기반 알고리즘보다 뛰어나다는 것을 입증한다.
• 사전에 $C$를 알지 못해도 성립하는 손실 분석을 제공한다.

제안 방법

• 알 수 없는 손상 수준에 적응하기 위해 시간에 따라 감소하는 단계 크기 $\eta_t = c / \sqrt{t}$를 갖는 고전적 승수 가중치 알고리즘의 변형을 제안하며, 여기서 $c = \sqrt{\log N}$이다.
• FTRL 프레임워크에 기반한 새로운 분석 기법을 사용하여, 최적 전문가에 할당된 확률의 역수인 $p_{t+1,i^\star}$를 통해 기대 손실을 경계한다.
• 홉핑의 보조정리(Hoeffding's Lemma)와 농도 불등식을 적용하여 전문가 간 손실 차이의 모멘트 생성 함수를 제어한다.
• 손실 분석을 두 단계로 분해한다: 초기 라운드에서는 손상으로 인해 수렴이 지연될 수 있으나, 후속 라운드에서는 알고리즘이 최적 전문가에 집중한다.
• 적어도 $t \geq t_1$일 경우, 열 劣한 전문가를 선택할 확률의 지수 감소가 지배하여 유한한 손실을 보장하는 임계값 $t_1$을 설정한다.
• FTRL 손실 분해를 통해 $\mathbb{E}[\log(1/x)]$가 손실을 경계함을 활용하여, 최종적으로 $\log N$, $\Delta$, $C$에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 손실이 확률적으로 생성되지만 적대적으로 손상될 경우, 예측 전문가 조언 문제에서 일정한 손실을 달성할 수 있는가?
• RQ2 전체 정보 설정은 손상 상황에서 전문가 수 $N$에 대한 로그 의존도를 가능하게 하는가? 이는 밴딧 설정과 대비된다.
• RQ3 손상된 확률적 환경에서 FTRL 기반 알고리즘과 OMD 기반 알고리즘의 성능는 어떻게 비교되는가?
• RQ4 한 가지 적응형 알고리즘이 손상 수준 $C$에 대한 사전 지식 없이도 스케일링 최적의 손실을 달성할 수 있는가?
• RQ5 손상된 적대적 확률적 전문가 문제에서 최적의 손실 스케일링은 무엇이며, 간단하고 파rameter-free 알고리즘으로 이를 달성할 수 있는가?

주요 결과

• 제안된 적응형 승수 가중치 알고리즘은 기대 손실 경계 $\mathbb{E}[\overline{\mathcal{R}}_T] \leq \frac{256\log N}{\Delta}\log^2\left(\frac{8\log N}{\Delta}\right) + \frac{8\log N}{\Delta}$를 달성하며, 이는 $\Theta(\log N / \Delta + C)$로 표현되며 $T$에 관계없이 성립한다.
• 이 알고리즘은 순수한 확률적, 적대적으로 손상된, 그리고 완전히 적대적인 세 가지 상황 모두에서 최적의 성능을 보이며, $C$를 사전에 알 필요가 없다.
• 손실 경계는 $N$에 대해 로그 스케일링되고, 갭 $\Delta$에 대해 역수 스케일링되며, 이는 전체 정보 피드백이 손상 상황에서 $N$에 대한 로그 의존도를 가능하게 함을 확인한다.
• FTRL 기반 알고리즘(예: 제안된 방법)은 손상된 확률적 환경에서 OMD 기반 알고리즘보다 엄격히 뛰어난 손실 성능을 보인다.
• 분석 결과, 적대적 손상의 작은 양조차도 적응형 단계 크기 덕분에 $C$ 이내의 손상 라운드를 초과해 수렴 지연를 크게 유발하지 않음을 확인한다.
• 이 경계는 로그 인자에 대해 타이트하며, 이 결과는 이 설정에서 $\Theta(\log N / \Delta + C)$가 최적의 손실 스케일링임을 입증한다.