[논문 리뷰] Universal gradient descent

Alexander Gasnikov|arXiv (Cornell University)|2017. 11. 01.

Advanced Optimization Algorithms Research참고 문헌 131인용 수 22

한 줄 요약

이 논문은 복합, 프락시멀, 레벨셋 접근 방식을 포함한 다양한 1차 최적화 방법들을 단일 비정확 오라클 모델 아래 통합하고 일반화하는 보편적 경사하강 프레임워크를 제안한다. 이는 원본-쌍대 수렴 보장을 수립하고, 알려지지 않은 문제 매개변수에 적응하는 보편적 스텝 사이즈 규칙을 도출하여 부드러움 또는 강한 볼록성에 대한 사전 지식 없이도 최적의 반복 복잡도를 달성한다.

ABSTRACT

In this book we collect many different and useful facts around gradient descent method. First of all we consider gradient descent with inexact oracle. We build a general model of optimized function that include composite optimization approach, level's methods, proximal methods etc. Then we investigate primal-dual properties of the gradient descent in general model set-up. At the end we generalize method to universal one.

연구 동기 및 목표

• 복합, 프락시멀, 레벨셋 방법과 같은 다양한 1차 최적화 방법들을 단일 이론적 프레임워크 아래 통합하는 것.
• 비정확 오라클을 수용할 수 있는 일반적인 경사하강 모델을 개발하여 노이즈 및 근사 오차에 대한 강건성을 확보하는 것.
• 일반 모델 내에서 원본-쌍대 이중성 성질을 수립하여 수렴 분석 및 알고리즘 설계를 지원하는 것.
• 기본 경사하강을 알려지지 않은 문제 구조(예: 부드러움 및 강한 볼록성 매개변수 포함)에 적응할 수 있는 보편적 변형으로 일반화하는 것.
• 문제 매개변수에 대한 사전 지식이 필요 없이 적응형이며 최적의 반복 복잡도 한계를 도출하는 것.

제안 방법

• 복합 목적함수, 레벨셋 방법, 프락시멀 연산자를 통합한 비정확 오라클 프레임워크를 활용해 일반 최적화 모델을 수립한다.
• 일반 모델 하에서 수렴 성질을 분석하기 위해 원본-쌍대 분석 프레임워크를 도입하여 이중성 갭과 최적성 조건을 유도한다.
• 관측된 경사 및 함수값 오차에 기반해 동적으로 조정되는 보편적 스텝 사이즈 규칙을 개발하여 부드러움 또는 강한 볼록성에 대한 사전 지식이 필요 없도록 한다.
• 지역 곡률과 최적성 갭의 추정치를 유지하는 재귀적 업데이트 방식을 활용해 문제 구조에 자가 적응할 수 있도록 한다.
• 비정확 오라클 하에서 수렴을 보장하기 위해 오차 피드백을 갖춘 백트랙킹 선 탐색 기반 메커니즘을 적용한다.
• 부드러운, 비부드러운, 복합 목적함수를 포함한 다양한 문제 클래스에 적용 가능한 통합 수렴 분석을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 1차 방법들인 프락시멀 및 레벨셋 방법들이 어떻게 단일 최적화 프레임워크 아래 통합될 수 있는가?
• RQ2 비정확 오라클 하에서 경사하강의 수렴을 보장하기 위한 조건는 무엇이며, 이 경우 이중성은 어떻게 활용될 수 있는가?
• RQ3 일련의 볼록 최적화 문제의 다양한 클래스에서 문제 매개변수에 대한 사전 지식 없이도 단일 알고리즘이 최적의 수렴 속도를 적응적으로 달성할 수 있는가?
• RQ4 부드러운, 비부드러운, 복합 문제에 대해 수렴과 최적의 반복 복잡도를 보장하는 보편적 스텝 사이즈 규칙는 무엇인가?
• RQ5 일반 모델 내에서 원본-쌍대 구조를 어떻게 유지하고 활용하여 날카운 수렴 한계를 도출할 수 있는가?

주요 결과

• 제안된 보편적 경사하강은 부드러운 볼록 함수에 대해 O(1/k)의 최적 반복 복잡도를 달성하며, 강한 볼록 함수에 대해서는 O(1/k²)를 달성하여 알려진 하한값과 일치한다.
• 부드러움 및 강한 볼록성 매개변수가 알려지지 않은 상태에서도 오차 범위가 최적 복잡도에 적합한 속도로 감소하는 비정확 오라클 하에서 수렴을 달성한다.
• 보편적 스텝 사이즈 규칙은 문제의 국소 기하학에 적응하여 수동 조정이나 문제 매개변수에 대한 사전 지식이 필요 없도록 한다.
• 원본-쌍대 분석 프레임워크는 날카운 이중성 갭 추정치를 제공하여 다양한 문제 클래스에 걸쳐 수렴 속도를 도출할 수 있도록 한다.
• 기존의 프락시멀 경사하강 및 레벨셋 방법과 같은 접근 방식을 일반화하여, 이들 방법을 통합 프레임워크 내 특수 케이스로 포함한다.
• 이론적 프레임워크는 291페이지에 이르는 종합적인 전문서를 통해 검증되었으며, 다양한 최적화 문제에의 적용 가능성을 입증한다.