[논문 리뷰] Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity

Puya Latafat, Andreas Themelis외 2명|arXiv (Cornell University)|2021. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 65인용 수 4

한 줄 요약

이 논문은 립시츠 연속 미분가정을 요구하지 않고 비볼록 정규화된 유한합 최소화 문제를 위한 Bregman Finito/MISO와 저메모리 변형을 제안한다. 상대적 미분가능성과 Bregman Moreau 포락선을 리아프노프 함수로 활용함으로써, 강한 볼록성(랜덤형) 또는 Kurdyka-Łojasiewicz 성질(순환형/저메모리형) 하에서 선형 수렴성을 확립한다. 이는 기존의 표준 미분가정을 상당히 완화시킨다.

ABSTRACT

We introduce two algorithms for nonconvex regularized finite sum minimization, where typical Lipschitz differentiability assumptions are relaxed to the notion of relative smoothness. The first one is a Bregman extension of Finito/MISO, studied for fully nonconvex problems when the sampling is randomized, or under convexity of the nonsmooth term when it is essentially cyclic. The second algorithm is a low-memory variant, in the spirit of SVRG and SARAH, that also allows for fully nonconvex formulations. Our analysis is made remarkably simple by employing a Bregman Moreau envelope as Lyapunov function. In the randomized case, linear convergence is established when the cost function is strongly convex, yet with no convexity requirements on the individual functions in the sum. For the essentially cyclic and low-memory variants, global and linear convergence results are established when the cost function satisfies the Kurdyka-Łojasiewicz property.

연구 동기 및 목표

• 비볼록 정규화된 유한합 최소화 문제를 더 완화된 미분가정 하에서 다루는 것, 특히 립시츠 연속 미분가정을 요구하지 않는 것.
• Bregman 발산을 활용해 Finito/MISO 및 SVRG/SARAH 프레임워크를 비볼록 환경으로 확장하는 것.
• 이전 연구보다 더 약한 조건 하에서 증분적 집계 알고리즘의 전역적 및 선형 수렴성을 확립하는 것.
• 리아프노프 함수로 Bregman Moreau 포락선을 사용해 수렴 분석을 단순화하는 것.

제안 방법

• 립시츠 미분가능성이 아닌 상대적 미분가능성 개념을 기반으로 Finito/MISO의 Bregman 확장 도입.
• 다양한 샘플링 전략에 걸쳐 수렴 분석을 통합하고 단순화하기 위해 Bregman Moreau 포락선으로 정의된 리아프노프 함수 사용.
• 반복 단계에서 경사수렴 근사값을 추적하기 위해 이중 변수 테이블 $\bm{s}^k$ 활용 및 프록시미멀 최소화 단계를 통한 반복 갱신.
• SVRG 및 SARAH에 영감을 받은 저메모리 변형 적용: 단일 경사수렴 추정치만 유지하고 주기적으로 갱신.
• 부드러운 항목이 거리 생성 함수에 통합된 블록좌표 방법으로서 Finito/MISO의 새로운 해석 제공.
• 리아프노프 함수 $\mathcal{L}(z^k, \bm{s}^k)$의 단조 감소성을 증명함으로써 수렴성을 확립하며, 이는 비용 함수의 Bregman Moreau 포락선과 동치이다.

실험 결과

연구 질문

• RQ1 Finito/MISO는 립시츠 연속 경사수렴을 가정하지 않고도 비볼록 유한합 문제에 확장될 수 있는가?
• RQ2 표준 립시츠 미분가정 대신 상대적 미분가정 하에서도 선형 수렴성이 보장될 수 있는가?
• RQ3 리아프노프 함수로 Bregman Moreau 포락선을 사용하면 수렴 분석이 단순화되고 통합될 수 있는가?
• RQ4 저메모리 변형은 비볼록 환경에서 전역적 및 선형 수렴성을 유지하는가?
• RQ5 개별 함수들이 볼록이 아니더라도 알고리즘이 전역적이고 선형적으로 수렴하는 조건은 무엇인가?

주요 결과

• 전체 비용 함수가 강한 볼록성을 만족할 경우, 랜덤형 Bregman Finito/MISO 변형이 선형 수렴성을 확보한다. 이는 개별 $f_i$가 비볼록일지라도 가능하다.
• 기본 순환형 및 저메모리 변형의 경우, 강한 볼록성보다 더 약한 Kurdyka-Łojasiewicz (KŁ) 성질 하에서 전역적 및 선형 수렴성이 증명된다.
• Bregman Moreau 포락선은 반복 단계를 따라 단조 감소하는 리아프노프 함수로 기능하며, 이는 통합적이고 단순화된 수렴 분석을 가능하게 한다.
• Bregman 거리에 대한 상대적 미분가능성에 기반함으로써, 립시츠 경사수렴 연속성의 필요성을 피한다.
• 저메모리 변형은 오직 $O(n)$ 메모리만을 사용하여 대규모 문제에 적합하다.
• 이론적 결과는 이중 변수 갱신이 $\tilde{s}^k = \sum_{i=1}^N s_i^k$의 불변성을 유지함을 증명함으로써 검증되며, 이는 전체 메모리 버전과의 일관성을 보장한다.