[논문 리뷰] Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity

Dan Garber|arXiv (Cornell University)|2018. 02. 13.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 타당 영역이 볼록 다면체인 경우, 온라인 경사 하강법(OGD)이 비강한 볼록 손실 함수의 광범위한 클래스에 대해 로그 수준의 누적 손실을 달성함을 입증한다. 특히, 선형 변환과 병합될 때 강한 볼록성을 가지는 손실 함수에 대해 말이다. 허프만의 부등식을 활용하여 이차 성장 성질를 유도함으로써, 저자들은 역타임스텝 학습률을 사용한 OGD가 $\mathcal{O}(\log T)$의 누적 손실을 보장함을 보이며, ONS(온라인 뉴턴 스텝)의 이차 비용을 지닌다 하더라도 수렴 속도를 희생시키지 않는 계산적으로 효율적인 대안을 제공한다.

ABSTRACT

Hoffman's classical result gives a bound on the distance of a point from a convex and compact polytope in terms of the magnitude of violation of the constraints. Recently, several results showed that Hoffman's bound can be used to derive strongly-convex-like rates for first-order methods for extit{offline} convex optimization of curved, though not strongly convex, functions, over polyhedral sets. In this work, we use this classical result for the first time to obtain faster rates for extit{online convex optimization} over polyhedral sets with curved convex, though not strongly convex, loss functions. We show that under several reasonable assumptions on the data, the standard extit{Online Gradient Descent} algorithm guarantees logarithmic regret. To the best of our knowledge, the only previous algorithm to achieve logarithmic regret in the considered settings is the extit{Online Newton Step} algorithm which requires quadratic (in the dimension) memory and at least quadratic runtime per iteration, which greatly limits its applicability to large-scale problems. In particular, our results hold for extit{semi-adversarial} settings in which the data is a combination of an arbitrary (adversarial) sequence and a stochastic sequence, which might provide reasonable approximation for many real-world sequences, or under a natural assumption that the data is low-rank. We demonstrate via experiments that the regret of OGD is indeed comparable to that of ONS (and even far better) on curved though not strongly-convex losses.

연구 동기 및 목표

• 비강한 볼록 설정에서 OGD와 ONS의 누적 손실 성능 간 격차를 메우기 위해.
• OGD가 전역적으로 강한 볼록성이 없더라도 로그 수준의 누적 손실을 달성할 수 있는 조건을 규명하기 위해.
• 각 반복에서 이차 메모리와 실행 시간을 요구하는 ONS에 대한 계산적으로 효율적인 대안을 제공하기 위해.
• 전통적인 볼록 해석 도구를 사용하여 강한 볼록성 외부로도 빠른 수렴 속도를 확장하기 위해.
• OGD를 통한 빠른 수렴을 가능하게 하는 손실 함수 내 선형 변환에 대한 일致성 조건을 체계화하기 위해.

제안 방법

• 볼록 다면체에서 제약 위반과의 거리 간 관계를 유도하기 위해 허프만의 고전적 부등식을 활용함으로써, 타당 영역 내 이차 성장 성질를 도출한다.
• 함수 $ g({\mathbf{C}}_t {\mathbf{x}}) $ 형태의 손실 함수에 이 부등식을 적용하며, 여기서 $ g $ 는 강한 볼록성이고 $ {\mathbf{C}}_t $ 는 선형 변환이다.
• 허프만의 부등식에서 유도된 이차 성장 성질을 활용하여 온라인 최적화에서 더 빠른 수렴 속도를 가능하게 한다.
• 학습률 $ \eta_t = \frac{1}{\sigma t} $ 을 도입하며, 여기서 $ \sigma $ 는 평균 그램 행렬 $ \frac{1}{T}\sum_t {\mathbf{C}}_t^\top {\mathbf{C}}_t $ 의 허프만 상수이다.
• 반반위험 및 스토케스틱 설정 하에서의 누적 손실을 분석하며, $ {\mathbf{C}}_t $ 에 대한 일치 조건이 만족될 경우 로그 수준의 누적 손실을 증명한다.
• LASSO, MNIST, CIFAR10에서 ONS와의 비교를 통해 OGD의 성능을 실증적으로 검증하며, $ \ell_1 $-볼 영역 제약 조건을 사용한다.

실험 결과

연구 질문

• RQ1 OGD는 전역적으로 강한 볼록성이 없지만 부분공간에서 강한 볼록성을 가지는 손실 함수에 대해 로그 수준의 누적 손실을 달성할 수 있는가?
• RQ2 $ f_t({\mathbf{x}}) = g({\mathbf{C}}_t {\mathbf{x}}) $ 의 선형 변환 $ {\mathbf{C}}_t $ 에 대해 어떤 조건에서 OGD가 $ \mathcal{O}(\log T) $ 의 누적 손실을 보장하는가?
• RQ3 허프만의 부등식을 활용하여 오프라인 설정 외부의 온라인 볼록 최적화에서도 빠른 수렴 속도를 도출할 수 있는가?
• RQ4 OGD는 ONS에 비해 누적 손실 성능에서 경쟁력이 있으며, 각 반복에서 선형 시간 복잡도를 유지하는가?
• RQ5 반반위험 및 저랭크 데이터 가정은 OGD의 누적 손실에 어떤 영향을 미치는가?

주요 결과

• OGD는 전역적으로 강한 볼록성이 없더라도 선형 변환과 병합될 때 강한 볼록성을 가지는 손실 함수에 대해 $ \mathcal{O}(\log T) $ 의 누적 손실을 달성한다.
• 누적 손실 상한은 $ \frac{\alpha_1 \alpha_2 \sigma D^2}{2} + \frac{\bar{G}^2}{2\alpha_1 \alpha_2 \sigma}(1 + \ln T) $ 이며, 여기서 $ \sigma $ 는 평균 그램 행렬의 허프만 상수이다.
• 반반위험 설정에서 데이터가 임의성과 스토케스틱 성분을 혼합된 경우, 스토케스틱 성분이 공분산 일치 조건을 만족할 경우 이 방법이 작동한다.
• 저랭크 데이터의 경우에도 누적 손실 상한은 여전히 로그 수준이며, LASSO, MNIST, CIFAR10에서의 실험 결과 OGD가 ONS를 초월한다.
• 실증 결과로 OGD의 평균 손실은 ONS와 유사하거나 더 낮게 수렴하며, OGD는 ONS에 비해 각 반복에서 선형 시간 복잡도를 유지한다.
• 비유클리드 투영과 행렬 역행렬 계산을 피함으로써, 이 방법은 ONS에 비해 확장 가능하며 대규모 문제에 적합하다.