[논문 리뷰] Distributed Projected Subgradient Method for Weakly Convex Optimization.

Shixiang Chen, Alfredo García외 1명|arXiv (Cornell University)|2020. 04. 28.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 약한 볼록 최적화를 위한 분산 프로젝션 확률적 하향법(stoDPSM)을 제안하며, 모레우 환경(stationarity measure)를 통해 전역 수렴성을 입증한다. 날카로운 조건 하에서 기하급수적으로 감소하는 스텝 사이즈를 갖는 결정론적 DPSM는 날카로운 최소값으로 선형 수렴하며, 사전 학습, 강건한 위상 복원, 딕셔너리 학습과 같은 대규모 머신러닝 문제에 이론적 보장을 제공한다.

ABSTRACT

The stochastic subgradient method is a widely-used algorithm for solving large-scale optimization problems arising in machine learning. Often these problems are neither smooth nor convex. Recently, Davis et al. [1-2] characterized the convergence of the stochastic subgradient method for the weakly convex case, which encompasses many important applications (e.g., robust phase retrieval, blind deconvolution, biconvex compressive sensing, and dictionary learning). In practice, distributed implementations of the projected stochastic subgradient method (stoDPSM) are used to speed-up risk minimization. In this paper, we propose a distributed implementation of the stochastic subgradient method with a theoretical guarantee. Specifically, we show the global convergence of stoDPSM using the Moreau envelope stationarity measure. Furthermore, under a so-called sharpness condition, we show that deterministic DPSM (with a proper initialization) converges linearly to the sharp minima, using geometrically diminishing step-size. We provide numerical experiments to support our theoretical analysis.

연구 동기 및 목표

• 비볼록, 비미분 가능한 설정에서 확률적 하향법의 분산 구현에 대한 이론적 수렴 보장이 부족한 문제를 다룬다.
• 핵심 머신러닝 응용 분야를 포함하는 약한 볼록 문제로까지 확률적 하향법의 수렴 분석을 확장한다.
• 모레우 환경 정류성 측정법을 사용하여 분산 투영 확률적 하향법(stoDPSM)의 전역 수렴성을 확립한다.
• 기하급수적으로 감소하는 스텝 사이즈를 갖는 결정론적 DPSM가 날카로운 조건 하에서 선형 수렴함을 증명한다.
• 약한 볼록 최적화 작업에 대한 수치 실험을 통해 이론적 결과를 검증한다.

제안 방법

• 각 에이전트가 국소 하향값과 투영을 사용하여 업데이트하는 약한 볼록 최적화를 위한 분산 투영 확률적 하향법(stoDPSM)을 제안한다.
• 비미분성 및 약한 볼록 문제에 적합한 수렴 기준으로 모레우 환경 정류성 측정법을 활용한다.
• 날카로운 조건 하에서 선형 수렴을 달성하기 위해 결정론적 DPSM 변형에 기하급수적으로 감소하는 스텝 사이즈 규칙을 도입한다.
• 결정론적 설정에서 날카로운 최소값으로 수렴하기 위해 적절한 초기화를 요구한다.
• 다중 에이전트 간 최적화를 스케일링하기 위해 국소 업데이트와 공감 메커니즘을 활용한 분산 계산을 사용한다.
• 모레우 환경의 성질과 하향값 역학을 활용하여 약한 볼록성 하에서 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 분산 투영 확률적 하향법(stoDPSM)은 약한 볼록 최적화 문제에서 전역 수렴하는가?
• RQ2 모레우 환경 정류성 측정법은 분산 환경에서 비미분성, 약한 볼록 문제의 수렴 기준으로 유효한가?
• RQ3 결정론적 DPSM가 날카로운 최소값으로 선형 수렴하는 조건은 무엇인가?
• RQ4 기하급수적으로 감소하는 스텝 사이즈는 날카로운 조건 하에서 결정론적 DPSM의 수렴에 어떤 영향을 미치는가?
• RQ5 수치 실험은 제안된 분산 방법의 이론적 수렴 행동을 확인하는가?

주요 결과

• 제안된 stoDPSM는 모레우 환경 정류성 측정법을 통해 약한 볼록 최적화 문제에서 전역 수렴을 달성한다.
• 날카로운 조건 하에서 기하급수적으로 감소하는 스텝 사이즈를 갖는 결정론적 DPSM는 날카로운 최소값으로 선형 수렴한다.
• 적절한 초기화가 이루어지면, 날카로운 경우 최적 해로 수렴하는 보장을 갖는다.
• 모레우 환경 정류성 측정법은 비미분성 및 약한 볼록 환경에서 수렴을 효과적으로 포착하며, 이론적 분석을 가능하게 한다.
• 수치 실험은 이론적 결과를 지지하며, 테스트 문제 전반에 걸쳐 일관된 수렴 행동을 보여준다.
• 이 방법은 강건한 위상 복원, 블라인드 디컨volution, 딕셔너리 학습과 같은 실제 머신러닝 작업에 적용 가능하다.