[논문 리뷰] Fast gradient descent method for convex optimization problems with an oracle that generates a $(\delta,L)$-model of a function in a requested point

Alexander Tyurin, Alexander Gasnikov|arXiv (Cornell University)|2017. 11. 07.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 함수의 새로운 (δ, L)-모델을 사용하여 볼록 최적화를 위한 통합 프레임워크를 제안한다. 이는 (δ, L)-오라클 개념을 일반화하며, 보조 하위문제의 비정확한 해를 수용하는 빠른 경사 하강법을 제안하여 복합, 수준, 조건부 그래디언트, 프록시멀 방법을 하나의 수렴 분석과 최적의 반복 복잡도로 통합한다.

ABSTRACT

In this article we propose a new concept of a $(\delta,L)$-model of a function which generalizes the concept of the $(\delta,L)$-oracle (Devolder-Glineur-Nesterov). Using this concept we describe the gradient descent method and the fast gradient descent method and we show that many popular methods (composite optimization methods, level methods, conjugate gradient methods, proximal methods) are special cases of proposed methods in this article.

연구 동기 및 목표

• 복합, 수준, 조건부 그래디언트, 프록시멀 방법과 같은 기존의 1차 최적화 방법들을 하나의 프레임워크로 통합하는 것.
• 보조 하위문제의 비정확한 해를 허용하기 위해 (δ, L)-오라클 개념을 일반화하는 것.
• 빠른 경사 하강법과 그래디언트 방법의 수렴 보장을 (δ, L)-모델 프레임워크 하에 확립하는 것.
• 복합, 조건부 그래디언트, 프록시멀 방법이 제안된 프레임워크의 특수한 경우임을 보여주는 것.
• 함수값 정확도를 사용하여 비정확한 하위문제 해의 실용적인 수렴 기준을 제공하는 것.

제안 방법

• 점 y에서 함수 F(x)에 대한 새로운 (δ, L)-모델 Fδ(y)와 ψδ(x,y)를 제안하며, F(x) − Fδ(y) − ψδ(x,y) ≤ L/2‖x−y‖² + δ 를 만족한다.
• d가 1-강력 볼록한 프록시멀 함수인 경우, Bregman 발산 V(x,y) = d(x)−d(y)−⟨∇d(y),x−y⟩ 를 거리 측도로 사용한다.
• 각 반복에서 모델 함수 ψδ(x,xk) + αkV(x,xk) 를 최소화하는 빠른 경사 하강법을 개발하며, 이때 하위문제의 해는 비정확해도 된다.
• 보조 하위문제의 해에 대해 εδ-정확도 기준을 도입하여, 주 문제의 함수값에서 εδ-최적성 보장을 확보한다.
• 복합, 수준, 조건부 그래디언트 방법의 알려진 최적의 수렴 속도를 달성하기 위해 프레임워크를 적용한다.
• 보조 문제의 그래디언트가 리프시츠 조건을 만족할 경우, 리스타트 기법을 통해 선형 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 복합, 수준, 조건부 그래디언트, 프록시멀 방법을 하나의 모델로 통합할 수 있는 프레임워크를 개발할 수 있는가?
• RQ2 보조 하위문제의 비정확한 해를 처리하면서도 수렴성과 최적의 반복 복잡도를 유지할 수 있는가?
• RQ3 빠른 경사 하강법의 수렴을 보장하기 위해 모델 정확도(δ)와 곡률(L)에 대한 최소 요구 조건은 무엇인가?
• RQ4 (δ, L)-모델 개념이 Devolder–Glineur–Nesterov의 (δ, L)-오라클을 일반화할 수 있는가?
• RQ5 하위문제 해의 εδ-정확도와 주 문제의 함수값 정확도 사이의 관계는 무엇인가?

주요 결과

• 제안된 빠른 경사 하강법은 (δ, L)-모델 프레임워크 하에서 ε-최적 해를 구하기 위해 최적의 반복 복잡도 O(1/ε)를 달성한다.
• 이 프레임워크는 복합, 수준, 조건부 그래디언트, 프록시멀 방법을 제안된 방법의 특수한 경우로 통합한다.
• εδ-정확도로 보조 하위문제를 해석할 경우, 주 문제의 함수값에서 εδ-최적성이 보장된다.
• 분리 가능하거나 구조적인 문제의 경우, 이분법을 사용하여 각 변수당 O(ln(1/ε)) 시간 내에 보조 하위문제를 해결할 수 있다.
• 보조 문제의 그래디언트가 리프시츠 조건을 만족할 경우, 리스타트 기법을 통해 선형 수렴이 달성된다.
• (δ, L)-모델은 (δ, L)-오라클을 일반화하며, 다양한 최적화 문제에 대한 통합된 수렴 분석을 가능하게 한다.