[논문 리뷰] Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model

Fedor Stonyakin, Alexander Tyurin외 7명|arXiv (Cornell University)|2020. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 80인용 수 14

한 줄 요약

이 논문은 일阶 최적화와 변분부등식을 위한 통합된 비정확 모델 프레임워크를 제안하며, 상대적 미끄러움과 강한 볼록성의 개념을 일반화하여 최적 수렴 속도를 달성하는 적응형, 보편적인 방법을 가능하게 한다. 이 프레임워크는 부드럽고 비부드러운 문제를 사전 지식 없이 모두 지원하며, 새로운 알고리즘으로는 보편적인 조건부 기울기 방법과 강한 단조성 조건 하에서 선형 수렴 속도를 보이는 보편적인 미러-프록스 방법을 제공한다.

ABSTRACT

In this paper, we propose a general algorithmic framework for first-order methods in optimization in a broad sense, including minimization problems, saddle-point problems, and variational inequalities. This framework allows obtaining many known methods as a special case, the list including accelerated gradient method, composite optimization methods, level-set methods, Bregman proximal methods. The idea of the framework is based on constructing an inexact model of the main problem component, i.e. objective function in optimization or operator in variational inequalities. Besides reproducing known results, our framework allows constructing new methods, which we illustrate by constructing a universal conditional gradient method and a universal method for variational inequalities with a composite structure. This method works for smooth and non-smooth problems with optimal complexity without a priori knowledge of the problem's smoothness. As a particular case of our general framework, we introduce relative smoothness for operators and propose an algorithm for variational inequalities (VIs) with such operators. We also generalize our framework for relatively strongly convex objectives and strongly monotone variational inequalities. This paper is an extended and updated version of [arXiv:1902.00990]. In particular, we add an extension of relative strong convexity for optimization and variational inequalities.

연구 동기 및 목표

• 일괄적인 비정확 모델 프레임워크 아래에서 최적화 및 변분부등식 분야의 기존 일阶 방법들을 통합하고 일반화하기.
• 부드럽고 비부드러운 문제 모두에 대해 최적 복잡도를 달성하는 적응형, 파rameter-free 방법을 가능하게 하기.
• 상대적 미끄러움과 강한 볼록성의 개념을 변분부등식과 사 saddle-point 문제로 확장하기.
• 부드러움 또는 강한 볼록성의 파라미터를 사전에 알지 못해도 최적 수렴 속도를 달성하는 새로운 알고리즘—예를 들어 보편적인 조건부 기울기 방법과 재시작된 미러-프록스 변종—을 개발하기.
• 보조 최소화 단계에서의 비정확성에 의한 수렴 민감도를 분석하고, 강인한 수렴 보장을 수립하기.

제안 방법

• 기본 모델과 상대적 미끄러움을 일반화하는 보조 함수 ψδ(x, y)와 Bregman 발산을 사용한 일반적인 비정확 목적 함수 모델을 제안한다.
• 변분부등식을 위한 (δ, L, µ, V)-모델 프레임워크를 도입하여 연산자 모델의 비정확성을 허용함으로써 적응형 및 가속화된 알고리즘 설계를 가능하게 한다.
• 강한 단조성 조건을 만족하는 변분부등식에 대해 재시작된 미러-프록스 알고리즘을 개발하여, 최적의 반복 수 척도 O((LΩ)/µ) log(R₀²/ε)로 선형 수렴을 달성한다.
• 빠른 기울기 방법과 비정확 투영을 조합하여 프레임워크를 적용해 보편적인 조건부 기울기 방법을 유도한다.
• 재시작 기법과 모델의 강한 볼록성을 활용하여, µ-강한 볼록성 조건 하에서 수렴 속도를 선형 수준으로 가속화한다.
• 수렴 속도를 귀납법과 쌍대성 원리를 통해 분석하며, Bregman 발산과 프록시멀 설정의 성질을 활용한다.

실험 결과

연구 질문

• RQ1 일괄적인 비정확 모델 프레임워크가 기울기, 조건부 기울기, 프록시멀 방법과 같은 기존 일阶 방법들을 통합할 수 있는가?
• RQ2 상대적 미끄러움과 강한 볼록성의 개념을 변분부등식과 사 딜레마 문제로 일반화할 수 있는가?
• RQ3 부드러움 또는 강한 볼록성의 파라미터를 사전에 알지 못해도 최적 수렴 속도를 달성하는 보편적(적응형) 방법을 변분부등식에 대해 구성할 수 있는가?
• RQ4 모델 및 보조 최소화에서의 비정확성은 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 블록-좌표 강하와 고확률 보장이 있는 확률적 최적화로 확장될 수 있는가?

주요 결과

• 제안된 비정확 모델 프레임워크는 고전적 기울기 방법, 상대적 미끄러움, Bregman 프록시멀 방법을 특수 케이스로 포함한다.
• 부드러운 문제에 대해 최적의 O(1/N²) 수렴 속도를 달성하고, 비부드러운 문제에 대해 O(1/N) 수렴 속도를 달성하는 보편적인 조건부 기울기 방법을 구성하였다. 이는 조정 파rameter 없이도 가능하다.
• 강한 단조성 조건을 만족하는 변분부등식의 경우, 재시작된 미러-프록스 알고리즘이 최적의 반복 수 척도 O((LΩ)/μ) log(R₀²/ε)로 선형 수렴을 달성하며, 알려진 하한선과 일치한다.
• 모델의 m-강한 볼록성 조건 하에서, 수렴 속도는 ∥xₚ − x∗∥² ≤ R₀²·2⁻ᵖ + 2δ/(m+μ) + 4ẽδ/(m+μ)로 개선되며, 반복 수는 O((LΩ)/(m+μ)) log(R₀²/ε)이다.
• 프레임워크는 확률적 및 블록-좌표 확장에 대해 지원하며, 서브-가우시안 노이즈 가정 하에 고확률 수렴 속도 O(LR²/N² + δ′₁/√N + N⁻¹δ′₂)를 확보한다.
• 분석 결과, 보조 최소화 단계에서의 비정확성에 의한 수렴 민감도가 낮으며, 최종 반복 갭의 오차 항은 δ 및 ẽδ로 제한됨을 확인하였다.