[논문 리뷰] Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning

Yiyuan She, Zhifeng Wang외 1명|arXiv (Cornell University)|2021. 12. 16.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 부드럽지 않고 볼록이 아닌 통계적 학습을 위한 일반화된 Bregman 대체 프레임워크를 제안하며, 정규성 조건 하에 기하학적 속도로 전역 수렴을 가능하게 한다. 알고리즘의 고정점에 대한 증명 가능한 통계적 보장을 수립하고, 볼록성이나 부드러움을 요구하지 않는 적응형 모멘타움 기반 가속화 기법을 개발한다.

ABSTRACT

Modern statistical applications often involve minimizing an objective function that may be nonsmooth and/or nonconvex. This paper focuses on a broad Bregman-surrogate algorithm framework including the local linear approximation, mirror descent, iterative thresholding, DC programming and many others as particular instances. The recharacterization via generalized Bregman functions enables us to construct suitable error measures and establish global convergence rates for nonconvex and nonsmooth objectives in possibly high dimensions. For sparse learning problems with a composite objective, under some regularity conditions, the obtained estimators as the surrogate's fixed points, though not necessarily local minimizers, enjoy provable statistical guarantees, and the sequence of iterates can be shown to approach the statistical truth within the desired accuracy geometrically fast. The paper also studies how to design adaptive momentum based accelerations without assuming convexity or smoothness by carefully controlling stepsize and relaxation parameters.

연구 동기 및 목표

• 고차원 통계적 학습에서 비볼록성, 비부드러움 최적화에 대한 통합된 수렴 속도 분석의 부족을 해결한다.
• 일관된 Bregman 대체 프레임워크 하에 LLA, 반복 임계처리, 미러 강하 등 광범위한 알고리즘 클래스에 대한 전역 수렴 보장을 제공한다.
• 지역 최소화자가 아니어도 복합 목표 함수에서 고정점 추정기의 통계적 정확도를 확립한다.
• 볼록성 또는 부드러움 가정 없이도 비볼록, 비부드러운 문제에 대해 모멘타움 기반 가속화 기법을 설계한다.
• 이 프레임워크 하에서 희소 고차원 모델에서 반복값이 통계적 진실에 대해 기하학적으로 얼마나 빠르게 수렴하는지 시험한다.

제안 방법

• 일반화된 Bregman 대체를 통해 최적화를 재구성: $ g(\boldsymbol{\beta}; \boldsymbol{\beta}^{(t)}) = f(\boldsymbol{\beta}) + \Delta_{\psi}(\boldsymbol{\beta}, \boldsymbol{\beta}^{(t)}) $, 여기서 $ \psi $ 는 부드럽거나 볼록일 필요가 없다.
• 일반화된 Bregman 함수를 사용해 문제에 특화된 오차 측정법을 구성하여 엄밀한 수렴 분석을 가능하게 한다.
• MM 원칙을 적용하여 $ \boldsymbol{\beta} = \boldsymbol{\beta}^{(t)} $ 에서 고차원 일치를 확보하고 엄격한 주요화 조건을 피한다.
• 비볼록, 비부드러운 환경에서 모멘타움 기반 가속화를 가능하게 하기 위해 적응형 스텝 사이즈 및 이완 파라미터를 도입한다.
• 일반화된 Bregman 함수의 미적분을 활용해 엄밀한 정규성 조건을 도출하고 이론적 증명을 단순화한다.
• 고차원 설정 하에서 제곱 오차와 Tukey의 비중 손실 함수를 모두 적용한 $ P_H $-패널티 회귀에 대해 프레임워크를 검증한다.

Figure C.1: Log-log plot of optimization error v.s. number of iterations: mirror descent for IS divergence minimization with 50 random starting points. All error curves are bounded above by the dashed line which has slope $-1$ .

실험 결과

연구 질문

• RQ1 비부드럽고 비볼록 통계적 학습 문제에 대해 전역 수렴 속도 분석을 위한 통합 프레임워크를 개발할 수 있는가?
• RQ2 복합 목표 함수에서 Bregman 대체 알고리즘의 고정점은 지역 최소화자가 아니어도 증명 가능한 통계적 정확도를 확보할 수 있는가?
• RQ3 부드러움 또는 볼록성 가정 없이도 모멘타움 기반 가속화를 비볼록, 비부드러운 문제에 성공적으로 일반화할 수 있는가?
• RQ4 이 프레임워크 하에서 고차원 희소 모델에서 반복값이 통계적 진실에 대해 얼마나 빠르게 수렴하는가?
• RQ5 적응형 스텝 사이즈와 이완 파라미터는 실무에서 계산 효율성과 통계 정확도에 어떤 영향을 미치는가?

주요 결과

• 일반화된 Bregman 대체 프레임워크는 LLA, 반복 임계처리, 미러 강하 등 기존 알고리즘들을 통일된 이론적 틀 아래 재해석하고 통합한다.
• 정규성 조건 하에 반복값의 수열 $ \boldsymbol{\beta}^{(t)} $ 는 통계적 진실 $ \boldsymbol{\beta}^* $ 에 대해 기하학적으로 매우 빠르게 수렴하며, 통계 오차는 지수적으로 감소한다.
• 고정점은 지역 최소화자가 아니어도 복합 목표 함수 설정에서 최소화-최적 통계 정확도를 달성한다.
• 수렴 속도는 Bregman 이질성 측정법 $ \Delta_{\psi}(\boldsymbol{\beta}^*, \boldsymbol{\beta}^{(t)}) $ 에 의해 결정되며, 반복의 초기 및 후기 단계 모두에서 지수 감소를 보인다.
• 적응형 모멘타움 가속화 기법은 IS 발산 최소화 문제에서 반복 수를 최대 90% 감소시키고, 강건한 회귀 문제에서 전체 실행 시간을 30% 이상 단축시키며 통계 정밀도를 향상시킨다.
• 시뮬레이션 결과 모든 초기 값이 동일한 수준의 통계 정확도로 수렴함을 확인하여, 이 프레임워크의 전역 수렴성과 강인성을 검증한다.

Figure C.2: Log-log plot of optimization error v.s. number of iterations: DC programming for capped- $\ell_{1}$ SVM (50 different initial points).