[논문 리뷰] Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization

Michael R. Metel, Akiko Takeda|arXiv (Cornell University)|2019. 01. 24.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 부드러운 비볼록 손실 함수에 비부드럽고 비볼록 정규화를 적용한 일반적인 스 tochastic 최적화 문제와 유한합 문제를 위한 두 가지 새로운 확률적 경사하강 알고리즘—일반적인 스 tochastic 최적화를 위한 MBSGA와 유한합 문제를 위한 VRSGA—를 제안한다. 이 방법들은 비볼록 손실 함수에 대해 비부드럽고 비볼록 정규화를 최적화하도록 설계되었으며, 이전 연구 대비 더 뛰어난 비점근 수렴 복잡도를 달성한다. 특히 VRSGA는 O(n^{2/3}ε^{-3})회의 경사하강 호출과 O(ε^{-3})회의 프록시멀 연산을 수행하며, 이론적·실제적으로 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Our work focuses on stochastic gradient methods for optimizing a smooth non-convex loss function with a non-smooth non-convex regularizer. Research on this class of problem is quite limited, and until recently no non-asymptotic convergence results have been reported. We present two simple stochastic gradient algorithms, for finite-sum and general stochastic optimization problems, which have superior convergence complexities compared to the current state-of-the-art. We also compare our algorithms' performance in practice for empirical risk minimization.

연구 동기 및 목표

• 부드러운 비볼록 손실 함수에 비부드럽고 비볼록 정규화를 적용한 스 tochastic 최적화에 대해 비점근 수렴 결과가 부족한 문제를 해결한다.
• 이러한 도전적인 조건 하에서 유한합 최적화와 일반적인 스 tochastic 최적화 설정에 대해 실용적이고 이론적으로 타당한 알고리즘을 개발한다.
• 기존 방법들의 수렴 복잡도를 향상시키며, 특히 경사하강 및 프록시멀 연산 호출 수에 초점을 맞춘다.
• 이론적 복잡도 상충 조건에도 불구하고, 더 단순한 알고리즘이 실질적으로 더 뛰어난 성능을 보일 수 있음을 보여준다.
• 다양한 데이터셋과 정규화 방법에 대해 이론적 수렴 속도와 실증 성능 간의 종합적 비교를 제공한다.

제안 방법

• 일반적인 스 tochastic 최적화를 위한 미니배치 확률적 경사하강 알고리즘(MBSGA)을 제안하며, 비편향된 확률적 경사하강과 감소하는 단계 크기를 갖는 프록시멀 단계를 사용한다.
• 유한합 문제를 위한 분산 감소 확률적 경사하강 알고리즘(VRSGA)을 도입하며, SVRG 프레임워크를 활용하고 비볼록 정규화를 처리하기 위해 프록시멀 연산자를 적용한다.
• 예상 부분최적성과 ϵ-비판점에 도달하기 위해 필요한 반복 횟수를 근사하여 비점근 수렴 보장을 수립한다.
• 손실 함수와 정규화 함수의 비볼록성을 고려하면서도 f(w)의 경사하강의 리프시츠 연속성을 유지하는 새로운 분석 프레임워크를 사용한다.
• 이론적 가정을 충족시키기 위해 초기 반복 동안의 실증적 샘플링을 통해 MBSGA의 분산 상한 σ를 추정한다.
• a9a와 MNIST와 같은 표준 머신러닝 벤치마크를 사용하여 실제 데이터셋에서 알고리즘을 구현하고 비교하며, 일관된 파rameter 튜닝과 벽시계 시간 추적을 수행한다.

실험 결과

연구 질문

• RQ1 부드러운 비볼록 손실 함수에 비부드럽고 비볼록 정규화를 적용한 설정에서 비점근 수렴을 달성할 수 있는가?
• RQ2 제안된 알고리즘의 수렴 복잡도는 기존 최고 수준의 방법들과 비교해 어떻게 되는가? 특히 경사하강 및 프록시멀 연산 호출 수에 초점을 맞춰 설명한다.
• RQ3 더 단순한 알고리즘(MBSGA)이 더 복잡한 분산 감소 대비 알고리즘(VRSGA, SSDC-SVRG)보다 실증적으로 더 뛰어난 성능을 보일 수 있는가?
• RQ4 파rameter 튜닝이 실제 머신러닝 작업에서 수렴 속도와 목적 함수 값 감소에 어떤 영향을 미치는가?
• RQ5 SCAD나 MCP와 같은 비볼록 정규화를 적용한 표준 데이터셋(a9a, MNIST)에서 이론적 수렴 보장이 실증적으로 검증될 수 있는가?

주요 결과

• 제안된 MBSGA 알고리즘은 일반적인 스 tochastic 최적화에서 O(ε^{-5})회의 경사하강 호출과 O(ε^{-4})회의 프록시멀 연산 복잡도를 달성하며, Xu 등(2018)의 O(ε^{-8})보다 향상된 성능을 보인다.
• 유한합 문제를 위한 VRSGA 알고리즘은 O(n^{2/3}ε^{-3})회의 경사하강 호출과 O(ε^{-3})회의 프록시멀 연산을 수행하며, Xu 등(2018)의 SSDC-SVRG의 O(nε^{-4})보다 크게 향상되었다.
• a9a와 MNIST 데이터셋에서의 수치 실험 결과, MBSGA는 시간 단위 당 목적 함수 값 감소 측면에서 모든 다른 알고리즘을 앞서며 뛰어난 성능을 보였다.
• 실증 결과는 MBSGA가 가장 구현이 단순한 알고리즘이지만 가장 뛰어난 실질적 성능을 달성했음을 보여주며, 이는 이론적 복잡도가 항상 실제 효율성을 예측하지 못할 수 있음을 시사한다.
• 수렴 분석은 표준 가정 하에서 유효하다: f(w)는 리프시츠 연속성을 갖는 경사하강을 가지며, g(w)의 프록시멀 연산자는 효율적으로 계산 가능하다.
• 본 연구는 비볼록 정규화(예: SCAD, MCP, 로그합 페널티)와 부드러운 비볼록 손실 함수(예: Lorenz 손실)의 조합이 볼록 대체 방법보다 더 뛰어난 스파arsity와 일반화 성능을 제공함을 확인했다.