[논문 리뷰] Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization

Qi Deng, Guanghui Lan외 1명|arXiv (Cornell University)|2015. 09. 15.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 볼록 비스무스 및 스토하스틱 최적화를 위한 새로운 확률적 블록 서브그래디언트 방법인 Stochastic Block Dual Averaging(SBDA)를 소개한다. 이중 평균화와 블록별 스토하스틱 서브그래디언트 업데이트, 적응형 스텝사이즈 규칙을 결합함으로써 SBDA는 최적의 수렴 속도를 달성하면서도 반복 계산 비용을 크게 감소시킨다. 특히 구조가 있는 목표 함수를 가진 대규모 문제에서 뛰어난 성능을 발휘한다.

ABSTRACT

Block coordinate descent methods and stochastic subgradient methods have been extensively studied in optimization and machine learning. By combining randomized block sampling with stochastic subgradient methods based on dual averaging, we present stochastic block dual averaging (SBDA)---a novel class of block subgradient methods for convex nonsmooth and stochastic optimization. SBDA requires only a block of subgradients and updates blocks of variables and hence has significantly lower iteration cost than traditional subgradient methods. We show that the SBDA-based methods exhibit the optimal convergence rate for convex nonsmooth stochastic optimization. More importantly, we introduce randomized stepsize rules and block sampling schemes that are adaptive to the block structures, which significantly improves the convergence rate w.r.t. the problem parameters. This is in sharp contrast to recent block subgradient methods applied to nonsmooth deterministic or stochastic optimization. For strongly convex objectives, we propose a new averaging scheme to make the regularized dual averaging method optimal, without having to resort to any accelerated schemes.

연구 동기 및 목표

• 대규모 볼록 비스무스 최적화에서 전통적인 서브그래디언트 및 블록 좌표 강하 방법의 확장성 한계를 해결하기 위해.
• 반복 계산 비용을 줄이기 위해 매 반복마다 한 블록의 변수만 업데이트하는 스토하스틱 블록 서브그래디언트 방법을 개발하기 위해.
• 비스무스 결정론적 및 스토하스틱 최적화 문제에 대해 최적의 수렴 속도를 달성하기 위해.
• 문제 구조를 활용하여 수렴 속도를 가속화하는 적응형 스텝사이즈 규칙과 블록 샘플링 기법을 도입하기 위해.
• 정규화된 이중 평균화에 대해 강력 볼록 목표 함수에서 최적의 성능를 달성할 수 있도록 하는 새로운 평균화 기법을 제안하기 위해.

제안 방법

• 각 반복에서 서브그래디언트의 한 블록만 사용하는 이중 평균화의 블록 구조 변종인 Stochastic Block Dual Averaging(SBDA)를 제안한다.
• 수렴성을 유지하면서 계산 오버헤드를 줄이기 위해 이중 평균화와 확률적 블록 샘플링을 통합한다.
• 블록 구조와 문제 파라미터에 따라 의존하는 적응형 스텝사이즈를 적용하여 수렴 속도를 향상시킨다.
• 강력 볼록 목표 함수에서 최적의 수렴을 달성하는 데 성공한 정규화된 이중 평균화를 위한 새로운 평균화 기법을 사용한다.
• 블록 분리 정규화자 $\omega(x) = \sum_{i=1}^n \omega_i(x_i)$ 를 효율적으로 처리하는 프록시미티 유사 업데이트 규칙을 적용한다.
• Bregman 발산과 스토하스틱 서브그래디언트 오차 전파에 대한 경계를 포함한 새로운 분석 기법을 사용하여 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 블록 구조를 가진 스토하스틱 서브그래디언트 방법이 볼록 비스무스 스토하스틱 최적화에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 블록 구조를 활용하여 기존의 블록 서브그래디언트 방법을 초월해 수렴 속도를 향상시키기 위해 어떻게 적응형 스텝사이즈 규칙을 설계할 수 있는가?
• RQ3 새로운 평균화 기법을 통해 가속화 기법을 요구하지 않고도 비가속화된 이중 평균화 방법이 강력 볼록 문제에서 최적의 성능를 달성할 수 있는가?
• RQ4 확률적 블록 샘플링이 대규모 최적화에서 수렴 속도와 반복 비용에 어떤 영향을 미치는가?
• RQ5 기존의 전기격자 및 블록 반복 서브그래디언트 방법과 비교해 본다면, 제안된 방법의 수렴 속도는 어떻게 되는가?

주요 결과

• SBDA는 볼록 비스무스 스토하스틱 최적화에서 최적의 수렴 속도인 $O(1/\sqrt{t})$ 를 달성하며, 이는 이론적 하한선과 일치한다.
• 제안된 적응형 스텝사이즈 규칙은 이전의 블록 서브그래디언트 방법 대비 문제 파라미터에 대한 수렴 속도 향상에 기여한다.
• 강력 볼록 목표 함수의 경우, 새로운 평균화 기법 덕분에 정규화된 이중 평균화가 가속화 기법 없이도 최적의 성능를 달성한다.
• 매 반복마다 한 블록의 변수만 업데이트함으로써 반복 계산 비용을 줄여 대규모 문제에 대해 매우 확장 가능하다.
• 이론적 분석을 통해 일반 볼록성 및 블록 분리 정규화자 가정 하에 수렴이 보장되며, 비최적성 갭에 대한 명시적 경계가 제시된다.
• 수치 실험(이론적 분석에 암시됨)은 SBDA가 반복 효율성 측면에서 표준 서브그래디언트 및 블록 좌표 강하 방법보다 뛰어나다는 것을 시사한다.