[논문 리뷰] Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization

Guanghui Wang, Shiyin Lu외 1명|arXiv (Cornell University)|2019. 05. 15.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 5

한 줄 요약

이 논문은 온라인 경사 하강법(OGD), 온라인 뉴턴 스텝(ONS), 강하게 볼록 OGD와 같은 다양한 전문가 알고리즘을 적응적으로 조합하는 메타알고리즘을 사용하여 실시간으로 가장 성능이 좋은 전문가를 추적하는 보편적인 온라인 볼록 최적화 알고리즘인 Maler를 제안한다. Maler는 각각 일반 볼록 함수, 지수적으로 오목한 함수, 강하게 볼록한 함수에 대해 최적의 손실 한계 $O(\sqrt{T})$, $O(d\log T)$, $O(\log T)$를 달성하며, MetaGrad보다 더 날카운 데이터 의존적 손실 한계를 제공한다.

ABSTRACT

In this paper, we study adaptive online convex optimization, and aim to design a universal algorithm that achieves optimal regret bounds for multiple common types of loss functions. Existing universal methods are limited in the sense that they are optimal for only a subclass of loss functions. To address this limitation, we propose a novel online method, namely Maler, which enjoys the optimal $O(\sqrt{T})$, $O(d\log T)$ and $O(\log T)$ regret bounds for general convex, exponentially concave, and strongly convex functions respectively. The essential idea is to run multiple types of learning algorithms with different learning rates in parallel, and utilize a meta algorithm to track the best one on the fly. Empirical results demonstrate the effectiveness of our method.

연구 동기 및 목표

• 모르는 손실 함수 클래스에 적응할 수 있는 보편적인 온라인 볼록 최적화 알고리즘을 개발하는 것.
• 기존의 보편적 방법들이 손실 함수의 부분집합에 대해서만 최적임을 해결하는 것.
• 일반 볼록, 지수적으로 오목한, 강하게 볼록한 함수의 세 주요 함수 클래스에서 동시에 최적의 손실 한계를 달성하는 것.
• 실시간으로 가장 적합한 전문가 알고리즘과 학습률을 동적으로 선택하는 메타학습 프레임워크를 설계하는 것.

제안 방법

• Maler는 병렬로 여러 전문가 알고리즘을 실행한다: 볼록 OGD, ONS, 강하게 볼록한 OGD로, 각각 다른 학습률 스케줄로 구성된다.
• 메타알고리즘을 사용하여 전문가 예측의 가중 조합을 유지하고 누적 성능 기반으로 가장 성능이 좋은 전문가를 실시간으로 추적한다.
• 전문가들에 대한 손실 최소화 프레임워크를 사용하며, 효율성을 확보하기 위해 전문가 수를 로그 수준($O(\log T)$)로 제한한다.
• ONS에 유사한 헤시안 행렬을 사용하는 가중 투영 업데이트 규칙과 OGD 변형에 대한 표준 경사 업데이트 규칙을 활용한다.
• MetaGrad보다 반드시 나쁘지 않으며 유리한 경우 더 날카운 데이터 의존적 손실 한계를 새롭게 유도한다.
• 이론적 분석을 통해 Maler가 세 가지 함수 클래스 전반에서 최소 최대 손실 한계를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 한 개의 온라인 알고리즘이 일반 볼록, 지수적으로 오목한, 강하게 볼록한 손실 함수에 대해 동시에 최적의 손실 한계를 달성할 수 있는가?
• RQ2 손실 구조에 대한 사전 지식 없이도 알려지지 않은 함수 클래스에 적응할 수 있는 보편적인 방법이 존재하는가?
• RQ3 데이터 의존적 환경에서 손실 한계를 향상시킬 수 있으며, 동시에 악조건에서의 최적성도 유지할 수 있는가?
• RQ4 다른 학습률과 유형을 가진 여러 전문가 알고리즘을 조합하면 기존의 메타알고리즘보다 더 나은 성능을 낼 수 있는가?

주요 결과

• Maler는 일반 볼록 함수에 대해 최적의 $O(\sqrt{T})$ 손실 한계를 달성하며, 최소 최대 하한과 일치한다.
• 지수적으로 오목한 함수에 대해 $O(d\log T)$ 손실 한계를 달성하며, 온라인 뉴턴 스텝(ONS)의 최신 기술 수준과 일치한다.
• 강하게 볼록한 함수에 대해 Maler는 최적의 $O(\log T)$ 손실 한계를 달성하며, MetaGrad의 $O(d\log T)$ 한계를 향상시킨다.
• 유리한 데이터 환경에서 알고리즘의 데이터 의존적 손실 한계는 MetaGrad보다 반드시 더 날카롭게 증명된다.
• 합성 및 실제 데이터셋(a9a, 온라인 회귀)에 대한 실험 결과 Maler는 MetaGrad보다 더 빨리 수렴함을 보였다.
• 메서드는 $O(\log T)$ 전문가 복잡도를 유지하여 계산 효율성을 확보하면서도 완전한 적응성과 최적성을 달성한다.