[논문 리뷰] Online Learning with Many Experts

Alon Cohen, Shie Mannor|arXiv (Cornell University)|2017. 02. 25.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 3

한 줄 요약

이 논문은 예측 전문가 조언에 대한 온라인 학습 알고리즘을 제안하며, $ widetilde{O}( epsilon T + mathcal{N}( epsilon, L_T) + sqrt{T mathcal{N}( epsilon, L_T)})$ 의 리그레트 한계를 달성한다. 여기서 $ mathcal{N}( epsilon, L_T)$ 는 무한 노름 하에서 손실 함수의 수열에 대한 $ epsilon$-커버링 수이다. 알고리즘은 손실 수열에 대해 동적으로 커버링을 구성하고 후행적으로 $ epsilon$ 을 자동으로 조정함으로써, 전문가 수에 따라 변하지 않는 리그레트를 가능하게 하며, 전문가 수가 무한할 경우에도 성립한다.

ABSTRACT

We study the problem of prediction with expert advice when the number of experts in question may be extremely large or even infinite. We devise an algorithm that obtains a tight regret bound of $\widetilde{O}(εT + N + \sqrt{NT})$, where $N$ is the empirical $ε$-covering number of the sequence of loss functions generated by the environment. In addition, we present a hedging procedure that allows us to find the optimal $ε$ in hindsight. Finally, we discuss a few interesting applications of our algorithm. We show how our algorithm is applicable in the approximately low rank experts model of Hazan et al. (2016), and discuss the case of experts with bounded variation, in which there is a surprisingly large gap between the regret bounds obtained in the statistical and online settings.

연구 동기 및 목표

• 기존의 리그레트 한계가 전문가 수에 따라 악화되는 매우 큰 또는 무한한 수의 전문가가 존재하는 온라인 학습 문제를 해결하기 위해.
• 리그레트가 전문가 수에 의존하지 않고, 손실 수열의 경험적 $ epsilon$-커버링 수에 의존하는 알고리즘을 개발하기 위해.
• 사전 지식 없이도 정확도 파라미터 $ epsilon$ 을 자동으로 조정할 수 있는 헤지 전략을 설계하기 위해.
• 제약된 변화량을 가진 전문가에 대해 통계적 설정과 온라인 설정 간의 성능 격차를 분석하기 위해.
• 저랭크 전문가 모델이나 이진 손실 설정과 같은 구조적 전문가 모델에의 적용 가능성을 보여주기 위해.

제안 방법

• 손실 함수 수열 $L_T = (\ell_1, \dots, \ell_T)$ 에 대해, 손실이 순차적으로 공개됨에 따라 온라인 방식으로 $ epsilon$-커버링을 구성한다.
• 전체 전문가 집합의 손실 행동을 근사하는 대표 전문가 집합을 유지하기 위해 동적 패킹 전략을 사용한다.
• 무한 노름 하에서 커버링 수 분석과 농도 부등식을 조합하여 리그레트 한계를 유도한다.
• 최적의 $ epsilon$ 을 후행적으로 선택하기 위해 헤지 전략을 도입하며, $ epsilon T$ 와 $ sqrt{T \nmathcal{N}(\nepsilon, L_T)}$ 항 사이의 균형을 맞춘다.
• 적절한 커버링 수 한계를 통해 저랭크 전문가 및 제약된 변화량 전문가와 같은 구조적 설정에 적용할 수 있다.
• 콤���한 메트릭 공간에서의 메트릭 엔트로피와 패킹 추론을 사용하여 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 전문가 수가 매우 크거나 무한한 경우, 리그레트가 전문가 수에 의존하지 않도록 할 수 있는가?
• RQ2 온라인 전문가 학습에서 근사 오차($\nepsilon T$)와 복잡도($\nmathcal{N}(\nepsilon, L_T)$) 사이의 최적 트레이드오프는 무엇인가?
• RQ3 사전 지식 없이도 온라인 학습에서 정확도 파라미터 $\nepsilon$ 을 자동으로 조정할 수 있는가?
• RQ4 왜 제약된 변화량을 가진 전문가에 대해 통계적 설정과 온라인 설정 간의 리그레트 격차가 너무 크게 벌어지는가?
• RQ5 제안된 알고리즘이 저랭크 또는 이진 손실 설정과 같은 구조적 전문가 모델에서 날카운 리그레트 한계를 달성할 수 있는가?

주요 결과

• 알고리즘은 전문가 총 수에 영향을 받지 않는 리그레트 한계 $ widetilde{O}(\nepsilon T + \nmathcal{N}(\nepsilon, L_T) + \nsqrt{T\nmathcal{N}(\nepsilon, L_T)})$ 를 달성한다.
• 저랭크 전문가 모델의 경우, 커버링 수 $\nmathcal{N}(\nepsilon, L_T)$ 는 $O((2n/\nepsilon)^k)$ 로 유계이며, 이는 $k$-스parser 전문가에 대해 $ widetilde{O}(T^{k/2})$ 의 리그레트를 초래한다.
• 변화량이 $V$ 인 제약된 변화량 케이스에서는 리그레트가 $ widetilde{O}(T^{V/2})$ 이며, $V \geq 2$ 일 경우 자명한 결과로 나타나 통계적 설정과 온라인 설정 간의 근본적 격차를 보여준다.
• 하한선 분석을 통해 $T < \log K$ 이고 $V \leq 2$ 일 경우, 조차도 상수 변화량일지라도 어떤 학습자도 최소 $T$ 의 기대 리그레트를 초래해야 한다고 밝혔다.
• 헤지 전략은 사전 지식 없이도 $ epsilon$ 을 자동으로 선택하여 후행적으로 최적의 트레이드오프를 달성한다.
• 논문은 핵심 열린 문제를 규명한다: 고차원 환경과 저복잡도 환경 모두에서 날카운 리그레트 한계를 가지는 알고리즘을 찾는 것.