[논문 리뷰] MetaGrad: Multiple Learning Rates in Online Learning

Tim van Erven, Wouter M. Koolen|arXiv (Cornell University)|2016. 04. 29.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 20

한 줄 요약

MetaGrad는 경험적 성능에 기반한 마스터 알고리즘을 사용해 다수의 학습률을 동적으로 조합하는 적응형 온라인 학습 알고리즘으로, 사전 조정 없이도 exp-concave, 강력히 볼록, 곡률이 없는 함수(예: 정규화되지 않은 허프 레이스 손실)를 포함한 광범위한 함수 클래스에 대해 로그 수준의 위험을 달성한다. 주요 기여는 곡률이 없는 함수를 포함한 다양한 함수 유형에서 빠른 수렴 속도를 달성하기 위해 비단조화적이고 성능 기반의 학습률 선택 전략을 사용하는 데 있다.

ABSTRACT

In online convex optimization it is well known that certain subclasses of objective functions are much easier than arbitrary convex functions. We are interested in designing adaptive methods that can automatically get fast rates in as many such subclasses as possible, without any manual tuning. Previous adaptive methods are able to interpolate between strongly convex and general convex functions. We present a new method, MetaGrad, that adapts to a much broader class of functions, including exp-concave and strongly convex functions, but also various types of stochastic and non-stochastic functions without any curvature. For instance, MetaGrad can achieve logarithmic regret on the unregularized hinge loss, even though it has no curvature, if the data come from a favourable probability distribution. MetaGrad's main feature is that it simultaneously considers multiple learning rates. Unlike previous methods with provable regret guarantees, however, its learning rates are not monotonically decreasing over time and are not tuned based on a theoretically derived bound on the regret. Instead, they are weighted directly proportional to their empirical performance on the data using a tilted exponential weights master algorithm.

연구 동기 및 목표

• 사전 조정 없이 다양한 함수 유형에 대해 자동으로 빠른 위험 수렴 속도를 달성하는 적응형 온라인 학습 방법을 개발하는 것.
• 이전의 적응형 방법들이 강력히 볼록 함수와 일반 볼록 함수 사이를 선형 보간하는 데 그친 데서 벗어나, 더 넓은 범위로 확장하는 것.
• 정규화되지 않은 허프 레이스 손실과 같은 곡률이 없는 함수를 유리한 데이터 분포 하에서 다룰 수 있도록 하는 것.
• 이론적 위험 경계에 기반하지 않고 단조 감소하지 않는 학습률 선택 전략을 설계하는 것.
• 스토하스틱 및 비스토하스틱 설정을 동시에 고려하는 통합 프레임워크를 설계하는 것.

제안 방법

• MetaGrad는 각각 다른 학습률 η를 사용하는 다수의 '슬레이브'를 조합하는 마스터 알고리즘을 유지한다.
• 각 슬레이브는 자체 학습률 η를 사용해 온라인 경사 하강법을 수행하며, 기울기와 매개변수 갱신 기반의 가짜 손실을 추적한다.
• 마스터 알고리즘은 기울인 지수 가중치를 사용해 데이터에서 실질적으로 더 잘 성능을 내는 학습률에 더 높은 가중치를 할당한다.
• 학습률은 지수적으로 간격을 두고 설정된 그리드에서 선택되며, 무거운 尾 꼬리 사전 확률을 통해 광범위한 학습률 범위를 커버한다.
• 완전한 버전은 d×d 공분산 행렬을 유지하지만, 대각선 버전은 계산 효율성을 위해 대각선 요소만 추적한다.
• 위험 경계는 마스터의 위험과 슬레이브 전용 가짜 위험 경계를 조합하여 유도되며, 이는 데이터의 구조에 적응하는 복합 경계를 이끈다.

실험 결과

연구 질문

• RQ1 정규화되지 않은 허프 레이스 손실처럼 곡률이 없는 함수에 대해, 유리한 데이터 분포 하에서 온라인 학습 알고리즘이 로그 수준의 위험을 달성할 수 있는가?
• RQ2 exp-concave, 강력히 볼록, 곡률이 없는 함수를 포함한 다수의 함수 유형에서 동시에 빠른 수렴 속도를 달성할 수 있는 적응형 방법을 설계할 수 있는가?
• RQ3 단조 감소하지 않으며 이론적 위험 경계에 의존하지 않는 학습률 선택 전략을 설계할 수 있는가?
• RQ4 더 넓은 함수 유형으로 확장할 경우, 적응성과 계산 비용 사이의 상호 교환 관계는 어떠한가?
• RQ5 사전 지식 없이도 일반 볼록 함수와 더 쉬운 함수 유형 모두에 대해 동시에 날카로운 위험 경계를 확보할 수 있는가?

주요 결과

• MetaGrad는 임의의 u ∈ U에 대해 O(√T ln ln T) 및 O(√(V^u_T d ln T) + d ln T)의 위험 경계를 달성한다. 여기서 V^u_T는 매개변수-거리 가중 기울기의 분산을 측정한다.
• 유리한 데이터 분포 하에서, MetaGrad는 곡률이 없는 정규화되지 않은 허프 레이스 손실에 대해 로그 수준의 위험 O(ln T)를 달성한다.
• MetaGrad의 대각선 버전은 O(d ln(D²G²T))의 위험을 달성하며, 차원 의존성에 대해 이론적 기대와 일치한다.
• 완전한 버전의 MetaGrad는 누적 기울기 행렬의 질량에 따라 위험 경계에 영향을 받으며, 데이터가 저차원적 구조를 보일 경우 더 빠른 수렴 속도를 달성할 수 있다.
• 알 수 없는 데이터 분포에 대해서도 성능이 강인하며, 위험 경계는 임의의 u ∈ U에 대해 성립하고 데이터의 내재적 어려움에 적응한다.
• 함수 유형에 대한 사전 지식 없이도 강력한 이론적 보장을 유지하므로, 온라인 학습 작업 전반에 널리 적용 가능하다.