[논문 리뷰] Online Learning in Case of Unbounded Losses Using the Follow Perturbed Leader Algorithm

Vladimir V. V’yugin|arXiv (Cornell University)|2010. 08. 25.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 3

한 줄 요약

이 논문은 유계가 아닌 한스텝 손실을 가진 온라인 학습을 위한 수정된 페트urbed 리더를 따르는(Follow the Perturbed Leader, FPL) 알고리즘을 제안한다. 이 알고리즘은 이전 전문가의 손실에 기반한 적응형 가중치를 사용한다. 새로운 척도 조절 변동성 개념을 통해 최적의 성능 보장을 수립하였으며, 변동성이 0으로 감소할 경우 헌내인 일致성(Hannan consistency)을 입증하였다. 이는 손실에 대한 사전 경계가 없더라도 성립한다.

ABSTRACT

In this paper the sequential prediction problem with expert advice is considered for the case where losses of experts suffered at each step cannot be bounded in advance. We present some modification of Kalai and Vempala algorithm of following the perturbed leader where weights depend on past losses of the experts. New notions of a volume and a scaled fluctuation of a game are introduced. We present a probabilistic algorithm protected from unrestrictedly large one-step losses. This algorithm has the optimal performance in the case when the scaled fluctuations of one-step losses of experts of the pool tend to zero.

연구 동기 및 목표

• 전문가의 손실이 비유계인 경우, 이는 일반적인 전문가 조언 프레임워크에서 자주 배제되는 상황이지만, 온라인 학습 이론에서 이러한 격차를 메우는 것.
• 개별 손실이 사전에 경계 없이 증가하더라도 효과적으로 작동하는 강건한 학습 알고리즘을 개발하는 것.
• 비유계 손실을 동반한 순차적 예측 게임의 복잡도를 기초로 하는 새로운 게임 이론적 개념인 '부피(volume)'와 '척도 조절 변동성(scaled fluctuation)'을 도입하는 것.
• 특히 척도 조절 변동성이 0으로 수렴할 경우, 최소한의 가정 하에 최적의 성능 보장(헌내인 일치성)을 달성하는 것.
• 손실 경계나 성장률에 대한 사전 지식 없이도 최적의 성능을 보장할 수 있도록 적응형 학습률 전략을 제공하는 것.

제안 방법

• 고전적인 FPL 알고리즘을 수정하여 전문가의 이전 누적 손실에 의존하는 가중치를 도입하고, 고정된 페트urbed를 대체한다.
• 게임의 척도 조절 변동성을 시간에 따라 변하는 척도 함수에 대한 손실 변동성의 척도로 정의하여, 비유계 손실 하에서도 분석이 가능하도록 한다.
• 전문가 손실 역학에 기반해 예측 문제의 효과적 복잡도를 측정하기 위해 게임의 '부피(volume)' 개념을 도입한다.
• 독립 동일분포(i.i.d.)의 지수형 노이즈를 사용하는 확률적 페트urbed 메커니즘을 사용하지만, 관측된 손실 패tern에 따라 학습률을 동적으로 조정한다.
• 카오모고로프의 세 시리즈 정리와 크로네커의 보조정리를 적용하여 정규화된 손실 차이의 거의 확실 수렴을 증명함으로써 장기적 안정성과 일치성을 확보한다.
• 척도 조절 변동성이 감소하는 데에 적응하는 PROT(Perturbed Regularized Tracker) 알고리즘을 설계하여 최적의 누적 손실 경계를 달성한다.

실험 결과

연구 질문

• RQ1 한스텝 손실이 비유계이면서 사전에 제약이 없을 경우, 페트urbed 리더를 따르는 알고리즘이 최적의 누적 손실 경계를 유지할 수 있는가?
• RQ2 비유계 손실 하에서의 온라인 예측의 곤경을 기존의 유계 가정을 초월해 기초로 하는 게임 이론적 측정법은 무엇인가?
• RQ3 전문가 손실의 척도 조절 변동성이 0으로 수렴할 경우, 헌내인 일치성이 달성될 수 있는가?
• RQ4 손실 경계나 성장률에 대한 사전 지식 없이도 적응형 학습률 전략이 최적의 성능을 보장할 수 있는가?
• RQ5 게임의 부피와 척도 조절 변동성이 온라인 학습 알고리즘의 수렴성과 성능에 미치는 역할은 무엇인가?

주요 결과

• 제안된 알고리즘은 $ E(s_{1:t}) \nleq \min_i s^i_{1:t} + \frac{\log N}{\epsilon} $ 의 기대 누적 손실 경계를 확보하며, $ \epsilon $ 는 관측된 손실 변동성에 따라 적응적으로 선택된다.
• 척도 조절 변동성 $ \text{fluc}(t) \to 0 $ 일 경우, 알고리즘은 헌내인 일치성을 보이며, 이는 학습자가 평균 손실이 과거의 최고 전문가의 손실로 수렴함을 의미한다.
• 알고리즘은 $ \limsup_{t\to\infty} \frac{\text{fluc}(t)}{\gamma_i(t)} < \infty $ 를 만족하는 어떤 $ i $ 가 존재하는 게임에서 평균에 대해 점차적으로 일치함을 증명하였으며, 이는 $ \gamma_i(t) $ 가 사전에 알려져 있지 않더라도 성립한다.
• 적응형 가중치와 동적 학습률을 사용함으로써, 다항식보다는 빠르고 지수함수보다는 느린 손실 성장률을 처리할 수 있다.
• 이론적 프레임워크는 게임의 부피와 척도 조절 변동성을 핵심 측정법으로 도입하여, 유계 손실 가정을 초월한 성능 분석을 가능하게 한다.
• 증명은 카오모고로프의 세 시리즈 정리와 크로네커의 보조정리를 기반으로 하여 정규화된 손실 차이의 거의 확실 수렴을 확보함으로써 장기적 안정성과 일치성을 보장한다.