[논문 리뷰] Fast Rates for Online Gradient Descent Without Strong Convexity via Hoffman's Bound.

Dan Garber|arXiv (Cornell University)|2018. 02. 13.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 허프만의 부등식을 활용하여 다각형 집합 위에서 손실 함수가 곡률이 있긴 하지만 강凸이 아닌 경우 온라인 볼록 최적화에서 온라인 경사 하강법(OGD)의 로그적 등록률을 확립한다. 이 방법은 뉴턴 유형의 방법보다 높은 메모리와 계산 비용 없이 $O(\log T)$의 빠른 수렴 속도를 달성하며, 강凸인 경우에 알려진 최고의 수렴 속도를 재현한다.

ABSTRACT

Hoffman's classical result gives a bound on the distance of a point from a convex and compact polytope in terms of the magnitude of violation of the constraints. Recently, several results showed that Hoffman's bound can be used to derive strongly-convex-like rates for first-order methods for convex optimization of curved, though not strongly convex, functions, over polyhedral sets. In this work, we use this classical result for the first time to obtain faster rates for extit{online convex optimization} over polyhedral sets with curved convex, though not strongly convex, loss functions. Mainly, we show that under several reasonable assumptions on the data, the standard extit{Online Gradient Descent} (OGD) algorithm guarantees logarithmic regret. To the best of our knowledge, the only previous algorithm to achieve logarithmic regret in the considered settings is the extit{Online Newton Step} algorithm which requires quadratic (in the dimension) memory and to solve a linear system on each iteration, which greatly limits its applicability to large-scale problems. We also show that in the corresponding stochastic convex optimization setting, Stochastic Gradient Descent achieves convergence rate of $1/t$, matching the strongly-convex case.

연구 동기 및 목표

• 강凸이지만 곡률이 있는 함수에서의 빠른 수렴 속도를 강凸 함수에서 곡률이 있지만 강凸이 아닌 함수로 확장하는 것.
• 기존 알고리즘인 온라인 뉴턴 스텝의 경우와 같이 매 반복마다 2차 메모리와 선형 시스템을 풀 필요가 있는 제약을 극복하는 것.
• 데이터와 손실 함수 곡률에 대한 약한 가정 하에 OGD가 로그적 등록률을 달성할 수 있음을 보여주는 것.
• 스토하스틱 경사 하강법이 강凸인 경우와 동일한 $1/t$ 수렴 속도를 달성할 수 있음을 보여주는 것.

제안 방법

• 다각형 제약 조건에서 제약 위반과 탇합 집합까지의 거리 간의 관계를 정립하기 위해 허프만의 부등식을 활용한다.
• 허프만의 부등식을 적용하여 다각형 집합 위에서 강凸이 아닌 손실 함수에 대한 곡률 기반 오차 한계를 유도한다.
• 손실 함수의 곡률과 제약 위반의 유한성 조합이 빠른 등록률을 가능하게 함을 입증한다.
• 이러한 곡률과 제약 조건 하에서 OGD 업데이트 규칙을 분석하여 등록률 한계를 도출한다.
• 유사한 곡률 논증을 사용하여 스토하스틱 설정에서의 스토하스틱 경사 하강법의 수렴 속도를 유도한다.
• 허프만의 부등식 적용 가능성을 보장하기 위해 데이터에 대한 가정(예: 유한한 기울기, 손실 함수 곡률)에 의존한다.

실험 결과

연구 질문

• RQ1 손실 함수가 곡률이 있지만 강凸이 아닌 경우, OGD가 온라인 볼록 최적화에서 로그적 등록률을 달성할 수 있는가?
• RQ2 데이터와 손실 함수 곡률에 대해 어떤 조건이면 OGD가 뉴턴 유형 방법의 계산 비용 없이도 그 성능을 재현할 수 있는가?
• RQ3 비강凸이지만 곡률이 있는 목표 함수에서 스토하스틱 경사 하강법을 사용해 $1/t$ 수렴 속도를 달성할 수 있는가?
• RQ4 허프만의 부등식은 강凸이 아닌 설정에서 어떻게 더 빠른 수렴 속도를 가능하게 하는가?
• RQ5 OGD를 사용한 온라인 학습에서 빠른 등록률을 달성하기 위해 필요한 데이터와 손실 함수에 대한 최소한의 가정은 무엇인가?

주요 결과

• 손실 함수가 곡률이 있지만 강凸이 아닌 다각형 집합 위에서 온라인 볼록 최적화에서 OGD는 $O(\log T)$의 등록률을 달성한다.
• 등록률 한계는 제약 위반에 기반해 타당 집합까지의 거리를 제어하기 위해 허프만의 부등식을 사용하여 도출된다.
• 유한한 기울기와 손실 함수 곡률 등의 합리적인 가정 하에 결과가 성립한다.
• 스토하스틱 경사 하강법은 스토하스틱 볼록 최적화 설정에서 $1/t$ 수렴 속도를 달성하며, 강凸인 경우와 동일한 속도를 보인다.
• 제안된 방법은 온라인 뉴턴 스텝의 $O(d^2)$ 메모리와 반복마다 선형 시스템을 풀 필요 없이 대규모 차원으로의 확장성을 보장한다.
• 이 작업은 강凸가 아니더라도 곡률이 있으면서 다각형 제약 조건이 함께 있을 경우, 온라인 및 스토하스틱 설정에서 빠른 수렴 속도를 달성하는 데 충분하다는 것을 입증한다.