[논문 리뷰] MetaGrad: Adaptation using Multiple Learning Rates in Online Learning

Tim van Erven, Wouter M. Koolen외 1명|arXiv (Cornell University)|2021. 02. 12.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 6

한 줄 요약

MetaGrad는 일반적인 볼록 함수와 더 나은 손실 유형—예를 들어 지수-볼록, 강하게 볼록, 베르누이 조건을 만족하는 함수—에 대해 빠른 수렴을 달성하면서 기울기 크기 변화에 대해 강건성을 유지하는 새로운 적응형 온라인 학습 알고리즘입니다. 메타 알고리즘을 사용해 다수의 학습률을 동적으로 조합함으로써, O(√T ln ln T) 및 O(√(Vᵤᵀ d ln(T/d)) + d ln(T/d))의 손실 한계를 달성합니다. 여기서 Vᵤᵀ는 예측 오차의 분산을 측정하며, 벤치마크 작업 전반에서 OGD와 AdaGrad를 능가합니다.

ABSTRACT

We provide a new adaptive method for online convex optimization, MetaGrad, that is robust to general convex losses but achieves faster rates for a broad class of special functions, including exp-concave and strongly convex functions, but also various types of stochastic and non-stochastic functions without any curvature. We prove this by drawing a connection to the Bernstein condition, which is known to imply fast rates in offline statistical learning. MetaGrad further adapts automatically to the size of the gradients. Its main feature is that it simultaneously considers multiple learning rates, which are weighted directly proportional to their empirical performance on the data using a new meta-algorithm. We provide three versions of MetaGrad. The full matrix version maintains a full covariance matrix and is applicable to learning tasks for which we can afford update time quadratic in the dimension. The other two versions provide speed-ups for high-dimensional learning tasks with an update time that is linear in the dimension: one is based on sketching, the other on running a separate copy of the basic algorithm per coordinate. We evaluate all versions of MetaGrad on benchmark online classification and regression tasks, on which they consistently outperform both online gradient descent and AdaGrad.

연구 동기 및 목표

• 손실 유형의 유리한 구조를 사전 지식 없이 자동으로 활용하는 적응형 온라인 학습 알고리즘을 개발하는 것.
• 일반 볼록, 지수-볼록, 강하게 볼록, 그리고 베르누이 조건을 만족하는 확률적 함수 등 다양한 손실 유형의 성능을 하나의 프레임워크로 통합하는 것.
• 실제 성능에 기반해 다수의 학습률을 동적으로 가중 평균하여 손실 한계를 향상시키는 것.
• 선형 시간 업데이트를 보장하면서 고차원 환경에서도 적용 가능한 확장 가능한 변형을 제공하는 것—좌표별 및 스케칭 기반 버전 포함.
• 기존의 OGD와 AdaGrad에 비해 표준 온라인 분류 및 회귀 벤치마크에서 MetaGrad의 우수성을 경험적으로 검증하는 것.

제안 방법

• MetaGrad는 별도의 온라인 기울기 하강 업데이트에 적용되는 복수의 학습률(etas)을 동시에 유지합니다.
• 과거 데이터에서의 실적에 비례해 각 학습률에 가중치를 할당하는 메타 알고리즘을 사용합니다.
• 누적 손실의 가중 평균을 기반으로 하여 학습률 가중치를 동적으로 조정하며, 낮은 손실 한계를 기록한 학습률을 우선시합니다.
• 세 가지 변형을 제안합니다: 전체 행렬(헤시안 근사의 정확한 형태), 좌표별(각 좌표별 적응), 스케칭 기반(고차원에서의 저랭크 근사).
• 손실 한계 분석을 통해 베르누이 조건과의 연결을 규명하며, 기울기가 이 조건을 만족할 경우 MetaGrad가 O(√(Vᵤᵀ d ln(T/d)))의 빠른 손실 한계를 달성함을 보여줍니다.
• 일반 볼록 손실에 대해서도 O(√T ln ln T)의 손실 한계를 확보하여, 곡률이 존재하지 않을 경우에도 강건성을 유지합니다.

실험 결과

연구 질문

• RQ1 사전 지식 없이도 지수-볼록, 강하게 볼록, 곡률이 없는 확률적 함수를 포함한 다양한 손실 유형에 대해 동시에 빠른 수렴 속도를 달성할 수 있는 온라인 학습 알고리즘이 존재할 수 있는가?
• RQ2 다양한 데이터 환경에서 손실 성능을 향상시키기 위해 다수의 학습률을 어떻게 적응적으로 조합할 수 있는가?
• RQ3 베르누이 조건과 온라인 학습에서의 빠른 수렴 사이의 이론적 연결 고리는 무엇이며, 이를 알고리즘적으로 어떻게 활용할 수 있는가?
• RQ4 이론적 보장을 유지하면서도 고차원에서 선형 시간 업데이트를 달성할 수 있는 확장 가능한 알고리즘 변형을 설계할 수 있는가?
• RQ5 학습률의 적응적 가중 평균화가 OGD와 AdaGrad와 같은 기존 방법에 비해 일관된 경험적 성능 향상을 이끌 수 있는가?

주요 결과

• MetaGrad는 일반 볼록 손실에 대해 O(√T ln ln T)의 손실 한계를, 유리한 손실 유형에 대해 O(√(Vᵤᵀ d ln(T/d)) + d ln(T/d))의 손실 한계를 달성합니다. 여기서 Vᵤᵀ는 예측 오차의 분산을 측정합니다.
• 모든 벤치마크 데이터셋과 손실 함수에서 OGD와 AdaGrad를 모두 능가하며, 모든 기준선 대비 낮은 손실 한계를 지속적으로 달성합니다.
• 54개 실험 중 14개에서 MetaGrad가 가장 낮은 손실 한계를 기록했으며, 18개의 경우 AdaGrad보다 우수했습니다. 중앙값 손실 비율은 AdaGrad 대비 1.01~1.15 수준이었습니다.
• 전체 행렬 및 스케칭 기반 변형은 좌표별 변형과 유사한 성능을 보였으며, 저차원 및 중간 차원 작업에서는 전체 버전이 가장 우수한 성능을 기록했습니다.
• MetaGrad의 경험적 우수성은 최적의 학습률에 더 잘 적응할 수 있다는 점에서 기인하며, 동적 전문가 선택으로 인해 비연속적인 성능 특성을 보이는 튜닝 곡선 분석을 통해 이를 확인할 수 있었습니다.
• 가상의 튜닝 실험 결과, MetaGrad는 초세팅된 AdaGrad의 성능을 따라하거나 능가할 수 있었으며, 이는 이론적 보장을 갖춘 실용적 적용 후보로 강력한 가능성을 보여줍니다.