[논문 리뷰] Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration.

Michael B. Cohen, Aaron Sidford외 1명|arXiv (Cornell University)|2020. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 상대적 리프시츠성(constant)을 도입함으로써, 외거선 방법(extragradient methods)이 부드럽고 볼록 최소화 문제에서 최적의 가속화 수렴 속도를 달성함을 증명한다. 상대적 리프시츠성은 단조 변수 불등식에서 수렴을 특성화하는 새로운 조건이다. 이 프레임워크는 국소적 및 무작위 설정으로 일반화되며, 영역 볼록성(area convexity)을 통해 $υ_\infty$ 회귀와 무작위 좌표 강하(randomized coordinate descent)의 가속화 수렴 속도를 복원한다.

ABSTRACT

We show that standard extragradient methods (i.e. mirror prox and dual extrapolation) recover optimal accelerated rates for first-order minimization of smooth convex functions. To obtain this result we provide fine-grained characterization of the convergence rates of extragradient methods for solving monotone variational inequalities in terms of a natural condition we call relative Lipschitzness. We further generalize this framework to handle local and randomized notions of relative Lipschitzness and thereby recover rates for box-constrained $\ell_\infty$ regression based on area convexity and complexity bounds achieved by accelerated (randomized) coordinate descent for smooth convex function minimization.

연구 동기 및 목표

• 표준 외거선 방법(예: 미러 프락스와 이중 외삽)이 부드럽고 볼록 최소화 문제에서 최적의 가속화 수렴 속도를 달성함을 확립하는 것.
• 단조 변수 불등식에서 수렴을 지배하는 핵심 조건으로서 상대적 리프시츠성의 개념을 도입하고 체계화하는 것.
• 더 넓은 범위의 최적화 문제를 다룰 수 있도록 이 프레임워크를 국소적 및 무작위 설정으로 일반화하는 것.
• 새로운 조건을 통해 $υ_\infty$ 회귀와 가속화된 무작위 좌표 강하에 대한 기존의 복잡도 상한을 복원하는 것.

제안 방법

• 외거선 방법이 단조 변수 불등식을 해결할 때의 수렴 속도를 특성화하는 조건으로 상대적 리프시츠성을 정의한다.
• 상대적 리프시츠성 조건을 사용하여 부드럽고 볼록 최소화 문제에서 외거선 방법의 수렴 속도를 유도한다.
• 더 넓은 적용 가능성을 확보하기 위해 국소적 및 무작위적 상대적 리프시츠성의 변형을 다루기 위한 프레임워크를 일반화한다.
• 영역 볼록성을 상대적 리프시츠성의 한 형태로 간주함으로써 상자 제약 조건이 있는 $υ_\infty$ 회귀 문제에 이 프레임워크를 적용한다.
• 무작위 좌표 강하의 복잡도 상한을 상대적 리프시츠성의 관점에서 재해석함으로써 기존의 가속화 수렴 속도를 복원한다.

실험 결과

연구 질문

• RQ1 더 정교한 조건 하에서 외거선 방법이 부드럽고 볼록 함수에 대해 최적의 가속화 수렴 속도를 달성할 수 있는가?
• RQ2 상대적 리프시츠성은 단조 변수 불등식에서 수렴을 특성화하는 데 어떤 역할을 하는가?
• RQ3 상대적 리프시츠성은 국소적 및 무작위 설정으로 어떻게 확장되어 새로운 최적화 문제를 포괄할 수 있는가?
• RQ4 이 프레임워크는 $υ_\infty$ 회귀와 무작위 좌표 강하에 대해 알려진 가속화 수렴 속도를 복원할 수 있는가?
• RQ5 최적화 맥락에서 영역 볼록성과 상대적 리프시츠성 사이의 관계는 무엇인가?

주요 결과

• 상대적 리프시츠성 조건 하에서 외거선 방법은 부드럽고 볼록 최소화 문제에서 최적의 가속화 수렴 속도를 달성한다.
• 상대적 리프시츠성 조건은 단조 변수 불등식에서 수렴 속도를 세밀하게 특성화한다.
• 이 프레임워크는 국소적 및 무작위적 상대적 리프시츠성으로 일반화되어 상자 제약 조건이 있는 $υ_\infty$ 회귀 문제에 적용 가능하다.
• 영역 볼록성이 상대적 리프시츠성의 한 형태를 이르는 것으로 밝혀져, $υ_\infty$ 회귀의 복잡도 상한을 복원할 수 있다.
• 무작위 좌표 강하의 복잡도를 상대적 리프시츠성의 관점에서 재해석함으로써 기존의 가속화 수렴 속도를 복원할 수 있다.