[논문 리뷰] Adaptive Accelerated Gradient Converging Methods under Holderian Error Bound Condition

Mingrui Liu, Tianbao Yang|arXiv (Cornell University)|2016. 11. 23.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 10

한 줄 요약

이 논문은 프록시멀 그라디언트 크기를 동적 리스타트 및 종료 기준으로 사용하여 헬더 조건(HEB) 하에서 선형 수렴성을 보장하는 적응형 가속 경사 하강 방법을 제안한다. 이 방법은 문제에 특화된 상수를 알 필요 없이 준형대수, 강력한, 노름 정규화 문제에 대해 전역 선형 수렴성을 달성하며, 문헌상 이러한 클래스에 대해 처음으로 매개변수 자유(global linear convergence) 알고리즘을 제공한다.

ABSTRACT

Recent studies have shown that proximal gradient (PG) method and accelerated gradient method (APG) with restarting can enjoy a linear convergence under a weaker condition than strong convexity, namely a quadratic growth condition (QGC). However, the faster convergence of restarting APG method relies on the potentially unknown constant in QGC to appropriately restart APG, which restricts its applicability. We address this issue by developing a novel adaptive gradient converging methods, i.e., leveraging the magnitude of proximal gradient as a criterion for restart and termination. Our analysis extends to a much more general condition beyond the QGC, namely the Hölderian error bound (HEB) condition. {\it The key technique} for our development is a novel synthesis of {\it adaptive regularization and a conditional restarting scheme}, which extends previous work focusing on strongly convex problems to a much broader family of problems. Furthermore, we demonstrate that our results have important implication and applications in machine learning: (i) if the objective function is coercive and semi-algebraic, PG's convergence speed is essentially $o(\frac{1}{t})$, where $t$ is the total number of iterations; (ii) if the objective function consists of an $\ell_1$, $\ell_\infty$, $\ell_{1,\infty}$, or huber norm regularization and a convex smooth piecewise quadratic loss (e.g., squares loss, squared hinge loss and huber loss), the proposed algorithm is parameter-free and enjoys a {\it faster linear convergence} than PG without any other assumptions (e.g., restricted eigen-value condition). It is notable that our linear convergence results for the aforementioned problems are global instead of local. To the best of our knowledge, these improved results are the first shown in this work.

연구 동기 및 목표

• 최적 성능을 위해 이차 성장 조건(QGC) 상수를 사전에 알아야 하는 가속 프록시멀 그라디언트(APG) 방법의 한계를 해결하기 위해.
• QGC를 넘어서 더 일반적인 헬더 조건(HEB)으로 수렴 보장을 확장하기 위해.
• 프록시멀 그라디언트 크기를 사용해 자동 리스타트 및 종료를 가능하게 하는 적응형 메커니즘을 개발하기 위해.
• ℓ₁, ℓ∞, ℓ₁,∞ 또는 허버 노름 정규화와 부드럽고 조각별로 이차적인 손실 함수를 포함하는 다양한 기계학습 문제에 대해 전역 선형 수렴성을 확립하기 위해.
• 제한된 고유값 조건과 같은 추가 가정 없이도 표준 PG보다 빠른 수렴 속도를 달성함을 보여주기 위해.

제안 방법

• 관측된 프록시멀 그라디언트 크기에 기반해 알고리즘의 동작을 동적으로 조정하는 새로운 적응형 정규화 기법을 도입한다.
• 현재 반복의 진전에 기반해 유도된 임계값 이하로 프록시멀 그라디언트가 떨어지면 작동하는 조건 기반 리스타트 기법을 설계한다.
• 강한 볼록성 및 QGC를 초월해 일반화된 수렴 분석의 이론적 기반으로 HEB 조건을 활용한다.
• 부드럽고 볼록하며 조각별로 이차적인 손실 함수와 다양한 노름 정규화를 포함하는 복합 최적화 문제에 이 프레임워크를 적용한다.
• 문제 매개변수의 사전 지식이 필요 없이도 수렴을 보장하기 위해 적응형 정규화와 리스타트 논리의 융합을 활용한다.
• 내림폭 행동에 기반해 선형 탐색 유사 전략을 사용해 리스타트 지점을 결정함으로써 강건성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 헬더 조건(HEB) 하에서 HEB 매개변수의 사전 지식 없이도 선형 수렴성을 달성할 수 있는 적응형 리스타트 전략을 설계할 수 있는가?
• RQ2 준형대수 및 강력한 최적화 문제에 대해 적응형, 매개변수 자유 방법으로 전역 선형 수렴성을 달성할 수 있는가?
• RQ3 특히 제한된 고유값 조건이 없는 조건에서, 제안된 방법의 수렴 속도가 표준 프록시멀 그라디언트와 APG보다 어떻게 비교되는가?
• RQ4 프록시멀 그라디언트 크기를 기반으로 한 적응형 메커니즘이 수동 튜닝 없이 신뢰성 있게 리스타트 및 종료를 유도할 수 있는가?
• RQ5 어떤 종류의 기계학습 문제에서 제안된 방법의 전역 선형 수렴성과 매개변수 자유성의 이점이 가장 크게 나타나는가?

주요 결과

• 제안된 적응형 가속 경사 하강 방법은 헬더 조건(HEB) 하에서 전역 선형 수렴성을 달성하며, 이는 이차 성장 조건과 강한 볼록성의 범위를 초월한다.
• 강력한 및 준형대수 목표 함수의 경우, 프록시멀 그라디언트 방법은 o(1/t)의 수렴 속도를 보이며, 일반적인 비강한 볼록 설정에서의 하향 수렴 속도보다 빠르다.
• 목표 함수에 ℓ₁, ℓ∞, ℓ₁,∞ 또는 허버 노름 정규화와 함께 볼록하고 부드럽고 조각별로 이차적인 손실 함수가 포함된 경우, 제한된 고유값 조건과 같은 추가 가정 없이도 표준 PG보다 더 빠른 선형 수렴 속도를 달성한다.
• 이 방법은 매개변수 자유이며, 프록시멀 그라디언트 크기만을 사용해 리스타트 및 종료를 동적으로 결정하므로 조정 상수의 필요성이 없다.
• 선형 수렴은 局부적 수렴이 아니라 전역적 수렴이므로, 이는 이전 연구에서 해답점 주변의 초기화가 필요로 하는 경우가 많았던 것에 비해 상당한 개선이다.
• 저자들의 지식에 비추어 볼 때, 이는 HEB 조건 하에서 추가적인 구조적 가정 없이 이러한 유형의 문제에 대해 전역 선형 수렴성을 확립한 최초의 작업이다.