[논문 리뷰] SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization

Derek Driggs, Junqi Tang외 3명|arXiv (Cornell University)|2020. 02. 27.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 11

한 줄 요약

SPRING는 유한합 구조를 가진 비연속, 비볼록 최적화 문제를 위한 새로운 확률적 보조선형화된 최소화 알고리즘입니다. SAGA/SARAH와 같은 분산 감소 확률적 그래디언트를 사용하여 최신의 오ракูล 복잡도를 달성하며, 흐림 이미지 복원, 희소 NMF, 희소 PCA와 같은 문제들에서 더 빠른 수렴 속도와 전역 수렴 보장을 입증합니다.

ABSTRACT

We introduce SPRING, a novel stochastic proximal alternating linearized minimization algorithm for solving a class of non-smooth and non-convex optimization problems. Large-scale imaging problems are becoming increasingly prevalent due to advances in data acquisition and computational capabilities. Motivated by the success of stochastic optimization methods, we propose a stochastic variant of proximal alternating linearized minimization (PALM) algorithm \cite{bolte2014proximal}. We provide global convergence guarantees, demonstrating that our proposed method with variance-reduced stochastic gradient estimators, such as SAGA \cite{SAGA} and SARAH \cite{sarah}, achieves state-of-the-art oracle complexities. We also demonstrate the efficacy of our algorithm via several numerical examples including sparse non-negative matrix factorization, sparse principal component analysis, and blind image deconvolution.

연구 동기 및 목표

• 이미징 및 머신러닝 분야에서 발생하는 대규모 비연속, 비볼록 최적화 문제를 위한 효율적인 확률적 알고리즘이 부족한 문제를 해결한다.
• 확률적 환경에서의 보조선형화된 최소화 프레임워크(PALM)를 확장하여 확장성과 반복당 효율성을 향상시킨다.
• SAGA 및 SARAH 그래디언트 추정기들을 사용하여 PALM의 확률적 변형에 대한 이론적 수렴 보장을 제공한다.
• 기존의 결정론적 PALM에 비해 실제 이미징 작업(희소 NMF, 희소 PCA, 블라인드 이미지 복원)에서 뛰어난 성능을 보여준다.
• 볼록성 또는 미분 가능성 조건 없이 일반적인 가정 하에 스트로거스틱 비볼록 최적화의 이론적 하한 복잡도를 달성한다.

제안 방법

• 전체 그래디언트를 확률적 근사치로 대체하여 반복 비용을 줄이는 PALM의 확률적 변형인 SPRING을 제안한다.
• 수렴 안정성과 샘플 효율성을 향상시키기 위해 분산 감소 확률적 그래디언트 추정기(SAGA 및 SARAH)를 사용한다.
• PALM의 하위문제에 보조선형화를 적용하여 비연속 정규화자 $J(x)$ 및 $R(y)$에 대해 폐쇄형 업데이트를 보조선형 연산자를 통해 가능하게 한다.
• 교차 최소화 구조 유지: 현재 $y$에서 $F(x,y)$의 그래디언트를 사용해 $x$를 업데이트한 후, 업데이트된 $x$에서의 그래디언트를 사용해 $y$를 업데이트한다.
• 부분 그래디언트의 리프시츠 연속성 조건 하에서 수렴을 보장하기 위해 적응형 스텝 사이즈 $\gamma_{x,k}, \gamma_{y,k}$를 도입한다.
• SPRING-SAGA와 SPRING-SARAH에 대해 각각 $O(n^2L/(b^3\epsilon^2))$ 및 $O(\sqrt{n}L/\epsilon^2)$의 스트로거스틱 1차 오라클(SFO) 호출로 기댓값 기반으로 $\epsilon$-근사 임계점에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 PALM의 확률적 확장판은 대규모 비연속, 비볼록 문제에서 결정론적 PALM보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 분산 감소 확률적 그래디언트(SAGA/SARAH)는 비볼록, 비연속 환경에서 전역 수렴 보장을 가능하게 하는가?
• RQ3 제안된 확률적 PALM 변형의 오라클 복잡도는 기존 방법들과 비교해 어떻게 되는가?
• RQ4 SPRING은 희소 NMF, 희소 PCA, 블라인드 복원과 같은 실질적 이미징 작업에서 PALM을 초월하는 성능을 보일 수 있는가?
• RQ5 이 방법은 일반적인 가정 하에 스트로거스틱 비볼록 최적화의 이론적 하한을 달성하는가?

주요 결과

• SPRING-SAGA는 $b \leq \mathcal{O}(n^{2/3})$ 조건 하에 $\epsilon$-근사 임계점에 도달하기 위해 $O(n^2L/(b^3\epsilon^2))$의 SFO 호출을 달성한다.
• SPRING-SARAH는 $O(\sqrt{n}L/\epsilon^2)$의 SFO 호출을 통해 비볼록 최적화의 알려진 하한을 정확히 충족한다.
• 에러 유계 조건을 만족하는 문제들에 대해서는 SPRING이 전역 최적해로 선형 수렴한다.
• 수치 실험 결과, SPRING(SAGA 및 SARAH 사용)는 희소 NMF, 희소 PCA, 블라인드 이미지 복원 작업에서 PALM보다 더 빠른 수렴을 보였다.
• 이미지 흐림 제거 작업에서 SPRING는 PALM보다 더 매끄럽고 고해상도의 복원 결과를 생성하며, 커널 추정도 더 빠르게 수행된다.
• 관성 변형된 PALM는 가속 효과를 보이며, 이는 SPRING에 유사한 확장으로 더 높은 성능 향상을 이끌 수 있음을 시사한다.