[논문 리뷰] Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems

Yi Xu, Rong Jin외 1명|arXiv (Cornell University)|2019. 02. 20.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 손실 함수와 정규화 항이 모두 비볼록이고 비연속인 비연속 비볼록 정규화 문제에 대해 스위치 프락시 그래디언트(SPG) 방법의 최초 비점근 수렴 분석을 제시한다. 미니배치 SPG 변종이 근사 정류점(정류점)을 찾는 데 있어 볼록 대응체와 동일한 반복 복잡도를 달성하며, 목표 정확도에 대한 사전 지식이 필요 없는 동적 미니배치 변종을 도입한다.

ABSTRACT

Stochastic Proximal Gradient (SPG) methods have been widely used for solving optimization problems with a simple (possibly non-smooth) regularizer in machine learning and statistics. However, to the best of our knowledge no non-asymptotic convergence analysis of SPG exists for non-convex optimization with a non-smooth and non-convex regularizer. All existing non-asymptotic analysis of SPG for solving non-smooth non-convex problems require the non-smooth regularizer to be a convex function, and hence are not applicable to a non-smooth non-convex regularized problem. This work initiates the analysis to bridge this gap and opens the door to non-asymptotic convergence analysis of non-smooth non-convex regularized problems. We analyze several variants of mini-batch SPG methods for minimizing a non-convex objective that consists of a smooth non-convex loss and a non-smooth non-convex regularizer. Our contributions are two-fold: (i) we show that they enjoy the same complexities as their counterparts for solving convex regularized non-convex problems in terms of finding an approximate stationary point; (ii) we develop more practical variants using dynamic mini-batch size instead of a fixed mini-batch size without requiring the target accuracy level of solution. The significance of our results is that they improve upon the-state-of-art results for solving non-smooth non-convex regularized problems. We also empirically demonstrate the effectiveness of the considered SPG methods in comparison with other peer stochastic methods.

연구 동기 및 목표

• 비연속 비볼록 정규화 최적화에서 스위치 프락시 그래디언트 방법의 비점근 수렴 분석 부족 문제를 해결하기 위해.
• 기존 분석이 볼록 정규화 항을 가정하는 이론적 간극을 메우기 위해, 비볼록 비연속 설정에 적용되지 않는 조건을 제거하기 위해.
• 고정된 크기 대신 동적 미니배치 크기를 사용하는 실용적인 SPG 변종을 개발하기 위해.
• 비볼록 비연속 문제에 대해 볼록 정규화 대응체와 비교할 만한 수렴 복잡도 한계를 확립하기 위해.
• 제안된 SPG 방법이 동료 스위치 최적화 기법들에 비해 실증적으로 효과적인지 검증하기 위해.

제안 방법

• 부드럽지만 비볼록인 손실 함수와 비연속 비볼록 정규화 항의 합을 최소화하기 위해 미니배치 스위치 프락시 그래디언트(SPG) 방법을 분석한다.
• 비점근 분석을 통해 근사 정류점을 찾는 데 필요한 반복 복잡도 한계를 유도한다.
• 목표 정확도를 사전에 알 필요 없이 최적화 도중에 적응하는 동적 미니배치 크기 전략을 도입한다.
• 서브미분 미분 계산과 기대값 기반 부드러움 가정을 포함한 비볼록 비연속 분석 도구를 적용한다.
• 유한합 및 기대값 기반 최적화 문제의 두 형태를 모두 고려한다.
• 스위치 근사와 프락시 알고리즘의 이론적 프레임워크를 활용하여 이전 연구보다 더 약한 가정 조건 하에서도 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 손실 함수와 정규화 항이 모두 비볼록이고 비연속일 경우, SPG 방법에 대해 비점근 수렴 보장을 확립할 수 있는가?
• RQ2 비연속 비볼록 문제에 대한 SPG 방법이 볼록 정규화 문제에 대한 것과 동일한 반복 복잡도를 달성하는가?
• RQ3 목표 정확도를 사전에 알지 못하는 조건에서 비연속 비볼록 SPG에 대해 동적 미니배치 크기 전략을 설계할 수 있는가?
• RQ4 제안된 SPG 변종은 비연속 비볼록 설정에서 기존 스위치 최적화 방법들과 비교해 실증적으로 어떻게 성능을 발휘하는가?
• RQ5 이러한 일반적인 비볼록 비연속 설정에서 근사 정류점으로 수렴하기 위한 이론적 조건은 무엇인가?

주요 결과

• 제안된 미니배치 SPG 방법은 근사 정류점을 찾는 데 있어 볼록 정규화 대응체와 동일한 비점근 반복 복잡도를 달성한다.
• 기본 가정 하에 표준 조건에서 ε-근사 정류점으로의 수렴이 O(1/ε³) 반복 내에 이루어지며, 이는 볼록 정규화 문제에 대해 알려진 한계와 일치한다.
• 목표 정확도 지식이 필요 없는 동적 미니배치 SPG 변종이 개발되어 실용성이 향상된다.
• 이론적 프레임워크는 비연속 비볼록 정규화 문제의 유한합 및 기대값 기반 형태 모두에 적용 가능하다.
• 실증 결과는 제안된 SPG 방법이 비연속 비볼록 최적화 과제에서 동료 스위치 최적화 기법들을 능가함을 보여준다.
• 본 연구는 비연속 비볼록 정규화 설정에서 SPG의 최초 비점근 수렴 분석을 제공하며, 중요한 이론적 간극을 메운다.