[논문 리뷰] Second-order Quantile Methods for Experts and Combinatorial Games

Wouter M. Koolen, Tim van Erven|arXiv (Cornell University)|2015. 02. 27.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 20

한 줄 요약

이 논문은 학습 속도 파라미터 η에 대한 계층적 사전 분포를 사용하여 분산에 의존하는 두 번째 차수의 손실 경계(제약 조건)와 전문가의 품질에 대한 사전 지식에 의존하는 히스토그램 경계를 통합하는 새로운 온라인 학습 알고리즘인 Squint 및 Component iProd를 제안한다. 주요 기여는 동시에 두 가지 개선을 달성하는 최초의 손실 경계를 제공하는 것으로, 균형 잡힌 및 로그-균형 잡힌 사전 분포에 대해 효율적인 구현이 가능하다.

ABSTRACT

We aim to design strategies for sequential decision making that adjust to the difficulty of the learning problem. We study this question both in the setting of prediction with expert advice, and for more general combinatorial decision tasks. We are not satisfied with just guaranteeing minimax regret rates, but we want our algorithms to perform significantly better on easy data. Two popular ways to formalize such adaptivity are second-order regret bounds and quantile bounds. The underlying notions of 'easy data', which may be paraphrased as "the learning problem has small variance" and "multiple decisions are useful", are synergetic. But even though there are sophisticated algorithms that exploit one of the two, no existing algorithm is able to adapt to both. In this paper we outline a new method for obtaining such adaptive algorithms, based on a potential function that aggregates a range of learning rates (which are essential tuning parameters). By choosing the right prior we construct efficient algorithms and show that they reap both benefits by proving the first bounds that are both second-order and incorporate quantiles.

연구 동기 및 목표

• 낮은 분산 또는 다수의 유용한 전문가를 가진 데이터에서 성능이 뛰어나게 작동하는 적응형 온라인 학습 알고리즘을 설계하는 것.
• 두 가지 상호보완적인 적응형 학습 패러다임을 통합하는 것: 분산 기반의 두 번째 차수 손실 경계와 사전 지식 기반의 전문가 선택 패러다임.
• 최적의 학습 속도를 학습 속도 파라미터 η에 대한 사전 분포를 통해 학습함으로써, 동시에 데이터 분산과 전문가 품질에 적응할 수 있는 방법을 개발하는 것.

제안 방법

• 학습 속도 η에 대한 범위에 걸쳐 통합되는 잠재 함수를 제안하며, 학습 속도 파rameter η에 대한 사전 분포를 사용한다.
• 베이지안 혼합을 사용하여 η에 대해 통합함으로써 손실 경계를 유도하며, 사전 분포는 최적의 학습 속도에 대한 가정을 포함한다.
• 전문가 설정(Squint)과 조합 게임(Component iProd)에 이 방법을 적용하며, 구성 요소별 통합 전략을 사용한다.
• 계산 비용과 손실 오버헤드 사이의 균형을 위해 학습 속도에 대해 지수적 격자 이산화를 사용한다.
• 균형 잡힌 및 로그-균형 잡힌 사전 분포를 사용하여 효율적인 알고리즘과 날카운 경계를 달성하며, 로그-균형 잡힌 경우 Clr = ln ln T를 달성한다.
• 혼합 손실과 분산 항을 결합한 새로운 잠재 함수를 도입하여, 두 번째 차수의 히스토그램 경계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 온라인 학습 알고리즘이 낮은 분산 데이터와 다수의 고성능 전문가가 존재하는 상황에 동시에 적응할 수 있는가?
• RQ2 두 번째 차수 손실 경계와 히스토그램 경계를 동시에 달성하는 단일 알고리즘을 설계할 수 있는가?
• RQ3 학습 속도를 어떻게 적응적으로 학습시킬 수 있을까? 이는 어려운 데이터 환경과 쉬운 데이터 환경 모두에서 성능을 향상시킬 수 있도록 한다.
• RQ4 어떤 학습 속도 파라미터 η에 대한 사전 분포가 효율적인 알고리즘과 최적의 손실 보장을 제공하는가?
• RQ5 이 방법을 전문가 조언을 초월한 조합 결정 문제로 일반화할 수 있는가?

주요 결과

• Squint는 손실 경계 RK_T ≺ √(V^K_T * (Clr - ln π(K)))를 달성하며, 로그-균형 잡힌 사전 분포의 경우 Clr = ln ln T로, 분산과 히스토그램 이점의 조합을 가능하게 한다.
• 로그-균형 잡힌 사전 분포를 사용한 알고리즘은 Clr = ln ln T를 달성하여 ln ln T를 상수로 간주함으로써, 두 번째 차수와 히스토그램 적응성을 동시에 실현한다.
• 균형 잡힌 사전 분포의 경우 알고리즘은 효율적(라운드당 K번의 연산)이며 Clr = ln V^K_T를 달성하며, 여전히 두 가지 적응성 유형을 조합한다.
• Component iProd는 이 방법을 조합 게임으로 확장하여, 손실 경계 R^v_T ≤ (4/√3)√(V^v_T * (△²(v||π) + K ln⌈1 + log₂T⌉)) + 4△²(v||π) + K max{4 ln⌈1 + log₂T⌉, 1}를 달성한다.
• 이 방법은 η에 대한 사전 분포를 통해 최적의 학습 속도를 학습함으로써 분산과 히스토그램 적응성을 동시에 가능하게 하며, 확률적 및 유계 손실 설정 모두에서 이론적 보장을 제공한다.
• 이 접근법은 손실 정규화에 대해 강건하며, 행렬 기반 예측 및 전환 전문가로의 확장이 가능하므로 광범위한 적용 가능성을 보여준다.