[논문 리뷰] Combining Online Learning Guarantees

Ashok Cutkosky|arXiv (Cornell University)|2019. 02. 24.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 3

한 줄 요약

이 논문은 임의의 두 파rameter-free 온라인 학습 알고리즘의 반복을 더하여 새로운 알고리즘을 만드는 단순하면서도 강력한 메타알고리즘을 소개한다. 이 알고리즘의 손실은 두 기본 알고리즘의 손실 중 최소값으로 점별로 유계된다. 또한 이 아이디어를 확장하여 다중 힌트 시퀀스에 적응하고, 제약 조건이 없는 설정에서도 차원에 영향을 받지 않고 파rameter-free 손실 보장을 달성하는 일반적인 안전한 낙관적 온라인 학습 프레임워크를 제안한다.

ABSTRACT

We show how to take any two parameter-free online learning algorithms with different regret guarantees and obtain a single algorithm whose regret is the minimum of the two base algorithms. Our method is embarrassingly simple: just add the iterates. This trick can generate efficient algorithms that adapt to many norms simultaneously, as well as providing diagonal-style algorithms that still maintain dimension-free guarantees. We then proceed to show how a variant on this idea yields a black-box procedure for generating optimistic online learning algorithms. This yields the first optimistic regret guarantees in the unconstrained setting and generically increases adaptivity. Further, our optimistic algorithms are guaranteed to do no worse than their non-optimistic counterparts regardless of the quality of the optimistic estimates provided to the algorithm.

연구 동기 및 목표

• 다른 손실 보장 특성을 가진 온라인 학습 알고리즘을 블랙박스 방식으로 조합하여, 손실 측면에서 두 알고리즘의 최고 성능을 달성하는 방법을 개발한다.
• 비교점이나 기울기 노름에 대한 사전 지식 없이도, 동시에 여러 노름에 적응할 수 있는 파rameter-free 온라인 학습을 가능하게 한다.
• 나쁜 힌트에 대해서도 최악의 성능을 유지하는 일반적인 안전한 감소 기법을 도입하여 낙관적 온라인 학습 알고리즘을 생성한다.
• 이전에 유계 도메인에 국한되어 있던 낙관적 온라인 학습을 제약 조건이 없는 도메인으로 확장한다.
• 과거에 가장 좋은 고정 힌트 시퀀스를 경쟁하는 통합 프레임워크를 제공하여 적응성의 향상을 이룬다.

제안 방법

• 핵심 기법은 매 라운드마다 두 온라인 학습 알고리즘의 반복을 더하여 새로운 알고리즘을 만드는 것으로, 이 알고리즘의 손실은 두 개별 알고리즘의 손실 중 최소값으로 점별로 유계진다.
• 이 방법은 0에서 유계된 손실을 가진 임의의 파rameter-free 알고리즘에 적용 가능하여, 차원에 영향을 받지 않고 노름에 적응하는 보장을 달성한다.
• 낙관적 학습을 위해 논문은 임의의 적응형 알고리즘을 힌트에 대한 이중 최적화 기반으로 낙관적 알고리즘으로 변환하는 감소 기법을 제안한다.
• 낙관적 알고리즘은 최적의 힌트 시퀀스에 대한 손실을 최소화하기 위해 서브스티튜트 손실 함수를 사용하며, 온라인 볼록 최적화를 활용해 적응형 힌트를 생성한다.
• 제약 조건이 없는 설정에서 유계를 강화하기 위해 힌트 선택 과정에서 표준 제곱합 대신 내적을 포함하는 보다 정교한 표현으로 손실 함수를 수정한 변형도 제안한다.
• 이 프레임워크는 강건하다: 힌트가 얼마나 나쁘더라도, 손실은 원래의 비낙관적 알고리즘의 손실을 초과하지 않는다.

실험 결과

연구 질문

• RQ1 다른 손실 보장 특성을 가진 두 온라인 학습 알고리즘을 하나의 알고리즘으로 조합하여, 두 알고리즘의 손실 중 최소값을 달성할 수 있는가?
• RQ2 나쁜 힌트에 대해 안전하고 동시에 다중 힌트 시퀀스에 적응하는 일반적인 블랙박스 기법으로 낙관적 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ3 제약 조건이 없는 도메인으로 낙관적 온라인 학습을 확장하면서도, 차원에 영향을 받지 않고 파rameter-free 손실 보장을 유지할 수 있는가?
• RQ4 과거에 가장 좋은 고정 힌트를 경쟁하는 힌트 생성 전략을 구축할 수 있는가? 이는 적응성을 향상시킨다.
• RQ5 이 프레임워크를 사용하여 힐버트 공간에서 새로운 손실 보장을 유도할 수 있는가, 예를 들어 경험 베르누이 보장?

주요 결과

• 반복 덧셈 기법은 두 기본 알고리즘의 손실 중 최소값으로 점별로 유계된 손실을 달성하여, 최적의 알고리즘을 사전에 알지 못해도 '모든 세계의 최고' 성능을 낼 수 있다.
• 이 방법은 동시에 여러 노름에 적응하는 효율적인 알고리즘을 생성하며, 차원에 영향을 받지 않는 손실 보장을 유지한다.
• 알고리즘의 낙관적 변형은 $ R_T(u) \leq O\left[B(u) \min\left(\sqrt{\sum \|g_t\|^2}, \sqrt{\sum \|g_t - h_t\|^2}\right)\right] $ 형태의 손실 보장을 달성하여 이전 결과를 향상시킨다.
• 제약 조건이 없는 설정에서는 보다 정교하게 $ \sum \|g_t - h_t\|^2 - \|h_t\|^2 $ 로 보완되어 기울기가 상관관계가 있을 경우 더 날카로운 성능 향상을 이룬다.
• 알고리즘은 증명된 바에 따라 안전하다: 힌트가 얼마나 나쁘더라도, 손실은 원래의 비낙관적 알고리즘의 손실을 초과하지 않는다.
• 손실 $ \ell_t(h) = \|g_t - h\|^2 $ 에 대해 온라인 학습을 사용하는 단순한 힌트 생성 전략이 가장 좋은 고정 힌트와 유사한 손실을 달성하며, $ \tilde{O}(\|u\|\sqrt{\sum \|g_t - \bar{g}\|^2}) $ 의 형태를 취한다. 이는 이전 결과를 제약 조건이 없는 도메인으로 일반화한다.