[논문 리뷰] Incremental Methods for Weakly Convex Optimization

Li Xiao, Zhihui Zhu외 2명|arXiv (Cornell University)|2019. 07. 26.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 27

한 줄 요약

이 논문은 기계 학습 및 신호 처리에서 흔한 약한 볼록 최적화 문제를 위한 점진적 서브그래디언트, 프록시멀 포인트, 프록시멀 린어 방법을 도입하고 분석한다. ε-정류점(ε-stationary point)을 찾는 데 O(ε⁻⁴) 반복 복잡도를 증명하고, 날카움 조건 하에서 선형 수렴성을 확보한다. 이는 점진적 방법의 수렴 속도 분석을 볼록 설정을 초월해 비볼록 비미분 가능 문제로 확장한 최초의 작업이다.

ABSTRACT

Incremental methods are widely utilized for solving finite-sum optimization problems in machine learning and signal processing. In this paper, we study a family of incremental methods -- including incremental subgradient, incremental proximal point, and incremental prox-linear methods -- for solving weakly convex optimization problems. Such a problem class covers many nonsmooth nonconvex instances that arise in engineering fields. We show that the three said incremental methods have an iteration complexity of $O(\varepsilon^{-4})$ for driving a natural stationarity measure to below $\varepsilon$. Moreover, we show that if the weakly convex function satisfies a sharpness condition, then all three incremental methods, when properly initialized and equipped with geometrically diminishing stepsizes, can achieve a local linear rate of convergence. Our work is the first to extend the convergence rate analysis of incremental methods from the nonsmooth convex regime to the weakly convex regime. Lastly, we conduct numerical experiments on the robust matrix sensing problem to illustrate the convergence performance of the three incremental methods.

연구 동기 및 목표

• 점진적 방법의 수렴 속도 분석을 비미분 가능 볼록 영역에서 약한 볼록 영역으로 확장하는 것.
• 약한 볼록 유한합 문제에 대해 점진적 서브그래디언트, 프록시멀 포인트, 프록시멀 린어 방법의 수렴 행동을 분석하는 것.
• 약한 볼록 설정에서 반복 복잡도의 상한과 선형 수렴 조건을 설정하는 것.
• 강건한 행렬 감지 문제에서의 수치 실험을 통해 점진적 방법이 확률적 및 전부 서브그래디언트 방법보다 실용적으로 뛰어난 성능을 보임을 보여주는 것.

제안 방법

• 약한 볼록 유한합 문제에 대한 점진적 방법 분석을 위한 통합 프레임워크를 제안한다.
• 날카움 조건 하에서 국소 선형 수렴을 달성하기 위해 기하급수적으로 감소하는 스텝 사이즈를 사용한다.
• 전체 기울기 계산을 피하기 위해 한 번에 하나의 구성 함수만을 이용해 점진적 업데이트를 적용한다.
• 세 가지 방법을 분석한다: 점진적 서브그래디언트(ISG), 점진적 프록시멀 포인트(IPL), 점진적 프록시멀 린어(IPL)이며, 가능할 경우 폐형 해를 갖는다.
• 수렴이 ε-거의 정류점에 도달하는 것을 측정하기 위해 자연스러운 정류성 척도를 사용한다.
• 구성 함수의 약한 볼록성과 리프시츠 연속성 가정을 바탕으로 반복 복잡도 상한을 유도한다.

실험 결과

연구 질문

• RQ1 약한 볼록 유한합 문제에 대해 점진적 서브그래디언트, 프록시멀 포인트, 프록시멀 린어 방법의 반복 복잡도는 무엇인가?
• RQ2 추가로 날카움 조건이 만족될 경우, 점진적 방법이 약한 볼록 문제에서 선형 수렴을 달성할 수 있는가?
• RQ3 수렴 속도와 안정성 측면에서 점진적 방법은 확률적 및 전부 서브그래디언트 방법과 실질적으로 어떻게 비교되는가?
• RQ4 초기 스텝 사이즈는 비볼록 설정에서 이러한 방법의 수렴 행동에 어떤 역할을 하는가?
• RQ5 어떤 조건에서 점진적 방법이 수렴 속도와 안정성 측면에서 그 확률적 대응보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 약한 볼록 문제에서 점진적 서브그래디언트, 프록시멀 포인트, 프록시멀 린어 방법 모두 ε-거의 정류점(ε-nearly stationary point)을 찾는 데 O(ε⁻⁴)의 반복 복잡도를 달성한다.
• 약한 볼록 문제에 날카움 조건이 만족되고 기하급수적으로 감소하는 스텝 사이즈로 적절히 초기화될 경우, 세 방법 모두 최적 해로 선형 수렴한다.
• 서브문제가 폐형 해를 갖는 경우, 예를 들어 강건한 행렬 감지 문제에서 점진적 프록시멀 린어 방법이 특히 효과적이다.
• 수치 실험 결과, 점진적 방법은 특히 더 작은 감쇠 인자 ρ를 사용할 경우 확률적 및 전부 서브그래디언트 방법보다 더 빠르게 수렴하고 더 뛰어난 안정성을 보였다.
• 점진적 프록시멀 포인트 및 프록시멀 린어 방법은 점진적 서브그래디언트 방법보다 초기 스텝 사이즈 선택에 훨씬 더 강건하다.
• 실제로, 서브문제가 해석적으로 풀릴 수 있는 경우 점진적 프록시멀 린어 방법을 권장한다. 이는 수렴 속도와 안정성의 균형을 잘 유지하기 때문이다.