[논문 리뷰] Randomized Block Coordinate Descent for Online and Stochastic Optimization

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|2014. 07. 01.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 27

한 줄 요약

이 논문은 대규모 복합 최적화를 위한 새로운 방법인 온라인 랜덤라이즈드 블록 코 ordinate 디센트(ORBCD)를 제안한다. 이 방법은 확률적 경사 하강법과 랜덤라이즈드 블록 코 ordinate 디센트를 결합하여, 각 반복에서 미니배치 경사도를 사용해 한 블록의 좌표만 갱신한다. ORBCD는 OGD/SGD와 동일한 반복 복잡도를 가지며, 분산 감소 기법을 통해 강凸 함수에 대해 기대값 기준 기하급수적 수렴을 달성하여, SVRG와 RBCD의 최고 수준의 수렴 속도를 재현한다.

ABSTRACT

Two types of low cost-per-iteration gradient descent methods have been extensively studied in parallel. One is online or stochastic gradient descent (OGD/SGD), and the other is randomzied coordinate descent (RBCD). In this paper, we combine the two types of methods together and propose online randomized block coordinate descent (ORBCD). At each iteration, ORBCD only computes the partial gradient of one block coordinate of one mini-batch samples. ORBCD is well suited for the composite minimization problem where one function is the average of the losses of a large number of samples and the other is a simple regularizer defined on high dimensional variables. We show that the iteration complexity of ORBCD has the same order as OGD or SGD. For strongly convex functions, by reducing the variance of stochastic gradients, we show that ORBCD can converge at a geometric rate in expectation, matching the convergence rate of SGD with variance reduction and RBCD.

연구 동기 및 목표

• 비중첩 정규화를 갖는 고차원 대규모 복합 최적화 문제 해결 시 발생하는 계산 병목 현상을 해결한다.
• 온라인/확률적 경사 하강법(OGD/SGD)과 랜덤라이즈드 블록 코 ordinate 디센트(RBCD)의 효율성을 통합하여 확장성을 향상시킨다.
• 강凸 목적 함수에 대해 빠른 수렴을 달성하면서도 각 반복의 비용을 낮게 유지하는 방법을 개발한다.
• 전체 배치 방법이 불가능한 분산된 데이터(공간 및 시간 기반) 환경에서도 효율적인 최적화를 가능하게 한다.

제안 방법

• 각 반복에서 무작위로 선택된 한 블록의 좌표와 한 미니배치의 샘플을 사용해 국소 경사도를 계산하는 온라인 알고리즘인 ORBCD를 제안한다.
• 비미분 정규화를 처리하기 위해 프록시 스텝을 사용하여 복합 최적화 문제의 구조를 통합한다.
• SVRG에서 영감을 얻은 분산 감소 메커니즘을 도입하여 주기적으로 전체 경사도를 계산해 확률적 갱신의 노이즈를 감소시킨다.
• 최적 해와의 거리와 정규화된 잠재 함수를 포함한 리아푸노프 함수 분석을 통해 수렴성을 확립한다.
• 기대값 기준의 부적합도가 지수적으로 감소하는 것을 보여주는 재귀 부등식을 유도하여, 강凸 함수에 대해 기하급수적 수렴을 이끌어낸다.
• 수렴 속도와 안정성의 균형을 맞추기 위해 단계 크기 규칙을 사용하며, 수축 인자 ρ < 1을 보장한다.

실험 결과

연구 질문

• RQ1 온라인/확률적 경사 하강법과 랜덤라이즈드 블록 코 ordinate 디센트를 융합한 하이브리드 방법이 최첨단 방법과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 ORBCD는 강凸 함수에 대해 기하급수적 수렴을 달성하면서도 각 반복의 비용을 낮게 유지하는가?
• RQ3 SVRG에서 사용하는 분산 감소 기법을 온라인 최적화의 블록 코 ordinate 설정에 효과적으로 적용할 수 있는가?
• RQ4 복합 최적화 프레임워크 내에서 ORBCD의 반복 복잡도는 OGD/SGD와 RBCD에 비해 어떻게 비교되는가?

주요 결과

• ORBCD는 OGD/SGD와 동일한 반복 복잡도 순서를 가지며, 많은 샘플을 포함한 대규모 문제에 적합하다.
• 강凸 함수에 대해 ORBCD는 기대값 기준 기하급수적 수렴 속도를 달성하며, 분산 감소 기법을 적용한 SVRG와 RBCD의 수렴 속도를 재현한다.
• 최적 해와의 거리와 정규화된 잠재 함수를 추적하는 새로운 리아푸노프 함수를 통해 수렴 속도가 확립된다.
• 적절한 단계 크기를 선택할 경우 수렴 증명에서 수축 인자 ρ는 1보다 엄격히 작으며, 이는 부적합도의 지수적 감소를 보장한다.
• Lasso, 그룹 Lasso, 스파arsity 그룹 Lasso와 같은 블록 분리형 비미분 정규화를 갖는 문제에 매우 적합하다.