[논문 리뷰] Efficient tracking of a growing number of experts

Jaouad Mourtada, Odalric-Ambrym Maillard|arXiv (Cornell University)|2017. 08. 31.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 8

한 줄 요약

이 논문은 실시간에서 증가하는 수의 전문가를 추적하기 위한 새로운 온라인 학습 알고리즘을 제안한다. 여기서 새로운 전문가들이 순차적이고 예측 불가능하게 도착한다. '기권 기법'과 새로운 '소음 기법'을 적응형 파rameter 조정과 결합함으로써, 이 방법은 이론적으로 최적이고 실용적으로 효율적인 날카운 감소 경계를 달성한다. 또한 총 전문가 수나 시간 범위에 대한 사전 지식이 없더라도, 각 라운드에서 선형 시간 및 공간 복잡도를 유지한다.

ABSTRACT

We consider a variation on the problem of prediction with expert advice, where new forecasters that were unknown until then may appear at each round. As often in prediction with expert advice, designing an algorithm that achieves near-optimal regret guarantees is straightforward, using aggregation of experts. However, when the comparison class is sufficiently rich, for instance when the best expert and the set of experts itself changes over time, such strategies naively require to maintain a prohibitive number of weights (typically exponential with the time horizon). By contrast, designing strategies that both achieve a near-optimal regret and maintain a reasonable number of weights is highly non-trivial. We consider three increasingly challenging objectives (simple regret, shifting regret and sparse shifting regret) that extend existing notions defined for a fixed expert ensemble; in each case, we design strategies that achieve tight regret bounds, adaptive to the parameters of the comparison class, while being computationally inexpensive. Moreover, our algorithms are anytime, agnostic to the number of incoming experts and completely parameter-free. Such remarkable results are made possible thanks to two simple but highly effective recipes: first the "abstention trick" that comes from the specialist framework and enables to handle the least challenging notions of regret, but is limited when addressing more sophisticated objectives. Second, the "muting trick" that we introduce to give more flexibility. We show how to combine these two tricks in order to handle the most challenging class of comparison strategies.

연구 동기 및 목표

• 기존의 고정 전문가 프레임워크가 다루지 않는, 새로운 전문가들이 시간이 지남에 따라 동적으로 도착하는 온라인 예측 문제에 도전한다.
• 활성 전문가 수에 따라 효율적으로 확장되며, 지수적 계산 비용을 피하는 저감소 경계를 유지하는 알고리즘을 설계한다.
• 기존의 감소 개념—기본 감소, 이동 감소, 희소 이동 감소—을 전문가 풀이 변화하는 동적 전문가 환경으로 일반화한다.
• 알고리즘이 언제나 적용 가능하고, 총 전문가 수에 민감하지 않으며, 파rameter-free이므로 조정 없이 실용적인 구현이 가능하도록 보장한다.
• 전문가 전문가 및 수면 전문가 프레임워크의 기존 결과를 하나의 확장 가능한 알고리즘 프레임워크로 통합하고 일반화한다.

제안 방법

• 전문가 학습에서 유래한 '기권 기법'을 도입하여, 전문가가 활성화되지 않을 경우 예측을 기피함으로써 기본 감소 목표를 처리한다.
• 복잡한 비교 클래스를 다룰 수 있는 유연성을 높이기 위해, 새로운 '소음 기법'을 제안한다. 특히 여러 전문가를 추적하거나 그들 사이를 전환할 때 유용하다.
• 마르코프 전이 규칙과 전문가별 가중치, 시간에 따라 변하는 파rameter αt와 βt를 결합한 GrowingSleepingMarkovHedge 알고리즘을 설계한다.
• 각 전문가에 대해 사전 가중치 πi를 사용하고, 매 라운드에서 동적으로 정규화하여 계산 효율성과 안정성을 유지한다.
• 손실에 의존하는 업데이트를 사용하는 재정규화된 지수 가중치 방식을 적용한다: vt+1(i,a) = Σb θi,t+1(a|b) vt^m(i,b), 여기서 vt^m은 정규화된 가중치 업데이트이다.
• 활동 중인 전문가만 추적하고 가중치를 점진적으로 업데이트함으로써, 각 라운드에서 O(Mt)의 선형 시간 및 공간 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 새로운 전문가들이 시간이 지남에 따라 도착할 때, 최적의 전문가를 효율적으로 추적할 수 있는 온라인 학습 알고리즘을 어떻게 설계할 수 있는가?
• RQ2 전문가 집합이 동적으로 증가하는 설정으로 이동 감소 개념을 확장할 수 있는가? 만약 가능하면, 날카운 감소 경계를 달성하기 위해 어떤 방법을 써야 하는가?
• RQ3 활성 전문가 수에 비례하는 선형 계산 복잡도를 유지하면서도 저감소 경계를 유지할 수 있는 기법은 무엇인가?
• RQ4 전문가 전문가 프레임워크와 수면 전문가 프레임워크를 어떻게 통합하여 새로운 전문가 도착과 전문가 비활성화를 모두 처리할 수 있는가?
• RQ5 알고리즘이 파rameter-free이고 언제나 적용 가능하며, 알려지지 않은 시간 범위와 변화하는 전문가 풀에 적응할 수 있는가?

주요 결과

• GrowingSleepingMarkovHedge 알고리즘은 파라미터 비교 클래스에 대한 감소 경계를 O(1/η)의 곱으로 달성하며, 사전 가중치, αt, βt, 이동 시간에 대한 로그 항의 합을 포함한다. 이는 비교 클래스 파rameter에 대해 날카로운 의존성을 보인다.
• 감소 경계는 전문가 수, 최적 전문가 시퀀스의 이동 횟수, 새로운 전문가의 도착 시간에 따라 적응하여 근사 최적성을 달성한다.
• 알고리즘은 각 라운드에서 O(Mt)의 시간 및 공간 복잡도를 유지한다. 여기서 Mt는 시점 t에서 활성 전문가 수이다. 이는 확장 가능하고 실용적이다.
• αt = βt = 1/t이고 πi = 1/(τi m_{τi})로 설정할 경우, 이 방법은 이전 연구에서 알려진 최적 감소 경계 (7)을 특수 케이스로 복원한다.
• 소음 기법의 사용 덕분에, 이전 방법이 효율적으로 지원하지 못했던 복잡한 비교 클래스, 예를 들어 희소 이동 전략을 다룰 수 있다.
• 알고리즘은 사전 가중치의 스케일링에 대해 불변이며, 성능에 영향을 주지 않고 정규화가 가능하다. 따라서 완전히 파rameter-free이자 언제나 적용 가능한 알고리즘이다.