[논문 리뷰] Block stochastic gradient iteration for convex and nonconvex optimization

Yangyang Xu, Wotao Yin|arXiv (Cornell University)|2014. 08. 12.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 볼록 및 비볼록 최적화를 위한 블록 확률적 경사법(Block Stochastic Gradient, BSG)을 제안한다. BSG는 확률적 경사 근사와 가우스-세이델 블록좌표 갱신을 결합한다. 볼록 케이스에서는 표준 확률적 경사 방법과 동일한 수렴 속도를 달성하고, 비볼록 케이스에서는 기댓값 기반의 1차 최적성 위반 측도를 통해 전역 수렴을 확립하며, 대규모 문제에서 SG와 결정론적 BCD보다 뛰어난 성능을 보인다.

ABSTRACT

The stochastic gradient (SG) method can minimize an objective function composed of a large number of differentiable functions, or solve a stochastic optimization problem, to a moderate accuracy. The block coordinate descent/update (BCD) method, on the other hand, handles problems with multiple blocks of variables by updating them one at a time; when the blocks of variables are easier to update individually than together, BCD has a lower per-iteration cost. This paper introduces a method that combines the features of SG and BCD for problems with many components in the objective and with multiple (blocks of) variables. Specifically, a block stochastic gradient (BSG) method is proposed for solving both convex and nonconvex programs. At each iteration, BSG approximates the gradient of the differentiable part of the objective by randomly sampling a small set of data or sampling a few functions from the sum term in the objective, and then, using those samples, it updates all the blocks of variables in either a deterministic or a randomly shuffled order. Its convergence for both convex and nonconvex cases are established in different senses. In the convex case, the proposed method has the same order of convergence rate as the SG method. In the nonconvex case, its convergence is established in terms of the expected violation of a first-order optimality condition. The proposed method was numerically tested on problems including stochastic least squares and logistic regression, which are convex, as well as low-rank tensor recovery and bilinear logistic regression, which are nonconvex.

연구 동기 및 목표

• 목적 함수에 많은 구성 요소와 다수의 변수 블록을 가진 대규모 최적화 문제를 다루기 위해.
• 확률적 경사 방법의 효율성과 블록좌표 강하의 구조 인식 갱신 방식을 융합하기 위해.
• 비독립 동일분포 및 비편향이 아닌 확률적 경사에 대해서도 수렴 보장을 유지하는 방법을 개발하기 위해.
• 저차원 텐서 복원 및 이항 로지스틱 회귀를 포함한 볼록 및 비볼록 문제에서의 성능 평가를 위해.

제안 방법

• 목적 함수의 스무스 부분에 대해 확률적 경사를 사용하면서, 블록 변수를 가우스-세이델 순서로 갱신하는 블록 확률적 경사(Blocking Stochastic Gradient, BSG) 방법을 제안한다.
• 표준 SG보다 더 큰 스텝 사이즈를 允허하기 위해 각 블록의 리프시츠 상수를 작게 설정하여 수렴 속도를 향상시킨다.
• 예를 들어 ℓ₁-노름과 같은 비스무스 정규화 항 r_i(\mathbf{x}_i)에 대해 프록시멀 갱신을 적용한다.
• 블록 갱신을 위한 무작위 셔플링 또는 고정 순서를 사용하여 효율적이고 안정적인 수렴을 가능하게 한다.
• 일반적인 비편향성 가정을 완화하기 위해 비독립 동일분포 확률적 경사에 기반한 수렴을 확립한다.
• 볼록 및 비볼록 설정 모두에서 수렴을 보장하는 스텝 사이즈 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 블록 단위의 확률적 경사 방법이 수렴 속도와 정확도 측면에서 표준 확률적 경사 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 확률적 경사와 함께 가우스-세이델 블록 갱신 방식이 비볼록 문제에서도 수렴을 유지하는가?
• RQ3 고차원적이고 구조적인 목적 함수를 가진 비볼록 문제에서 BSG는 결정론적 블록좌표강하(BCD)보다 어떻게 비교되는가?
• RQ4 BSG는 볼록 설정에서 SG와 동일한 수렴 속도를 달성하면서도 블록 구조 목적 함수를 다룰 수 있는가?
• RQ5 블록 단위 스텝 사이즈와 각 블록의 리프시츠 상수는 수렴 성능에 어떤 영향을 미치는가?

주요 결과

• 볼록 케이스에서는 BSG가 표준 확률적 경사 방법과 동일한 하향 수렴 속도를 달성하며, 이는 이론적 하한선과 정확히 일치한다.
• 비볼록 케이스에서는 기댓값 기반의 1차 최적성 조건 위반 측도로 측정된 전역 수렴이 기대값으로 이루어지며, 수렴이 보장된다.
• 스토하스틱 최소 제곱 및 로지스틱 회귀와 같은 볼록 문제에서, BSG는 수렴 속도와 최종 목적 함수 값 측면에서 표준 SG를 뛰어넘는 성능을 보인다.
• 저차원 텐서 복원 및 이항 로지스틱 회귀와 같은 비볼록 문제에서, BSG는 종종 조기에 나쁜 국소 최소점 근처에 정체되는 결정론적 BCD보다 뛰어난 성능을 보인다.
• 각 블록의 리프시츠 상수를 기반으로 한 블록 단위 스텝 사이즈 사용은 표준 SG보다 더 큰 스텝 사이즈와 더 빠른 수렴을 가능하게 한다.
• 수치 실험 결과는 BSG가 확률적 방법의 확장성과 블록좌표 방법의 구조 인식 갱신 방식을 모두 습득하여, 대규모 비볼록 문제에 효과적으로 적용될 수 있음을 확인한다.