[논문 리뷰] Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|2013. 09. 09.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 블록-좌표 분해와 미러 강하법 내의 점진적 평균화를 결합하여 대규모 비미분 가능 및 확률적 최적화의 반복당 비용을 줄이는 새로운 알고리즘인 Stochastic Block Mirror Descent (SBMD)을 제안한다. 수렴 속도와 복잡도 한계를 확립하여, 표준 미러 강하법에 비해 훨씬 낮은 계산 비용으로 최적의 반복 복잡도를 달성함을 보이며, 특히 블록 구조를 가진 고차원 문제에 매우 효과적이다.

ABSTRACT

In this paper, we present a new stochastic algorithm, namely the stochastic block mirror descent (SBMD) method for solving large-scale nonsmooth and stochastic optimization problems. The basic idea of this algorithm is to incorporate the block-coordinate decomposition and an incremental block averaging scheme into the classic (stochastic) mirror-descent method, in order to significantly reduce the cost per iteration of the latter algorithm. We establish the rate of convergence of the SBMD method along with its associated large-deviation results for solving general nonsmooth and stochastic optimization problems. We also introduce different variants of this method and establish their rate of convergence for solving strongly convex, smooth, and composite optimization problems, as well as certain nonconvex optimization problems. To the best of our knowledge, all these developments related to the SBMD methods are new in the stochastic optimization literature. Moreover, some of our results also seem to be new for block coordinate descent methods for deterministic optimization.

연구 동기 및 목표

• 기존의 확률적 및 블록-좌표 방법이 대규모 확률적 최적화에서 높은 계산 비용과 메모리 부담을 야기하는 문제를 해결하기 위해.
• 블록 분해와 점진적 평균화를 활용하여 반복당 비용을 줄이면서도 수렴 보장을 유지하는 확률적 알고리즘을 개발하기 위해.
• 비미분 가능, 미분 가능, 강凸, 복합, 비볼록 등 다양한 확률적 최적화 문제에 대해 수렴 속도와 복잡도 한계를 설정하기 위해.
• 미러 강하법의 적용 가능성을 블록 구조를 가진 문제와 확률적 목표 함수로 확장하기 위해.
• 비미분 가능 및 비볼록 복합 확률적 문제에 대해 대편차 행동과 수렴에 관한 새로운 이론적 결과를 제공하기 위해.

제안 방법

• 블록-좌표 강하법과 미러 강하법, 점진적 블록 평균화를 통합하여 Stochastic Block Mirror Descent (SBMD) 방법을 제안한다.
• 각 반복에서 한 블록의 변수만 업데이트하기 위해 균일 확률을 사용한 랜덤 블록 선택 기법을 사용한다.
• 하나의 미니배치를 사용하여 서브기울기를 추정함으로써 확률적 기울기의 분산을 줄인다.
• 최종 출력 해를 계산하기 위해 재귀적 평균화 기법을 적용하여 수렴 안정성을 향상시킨다.
• 비미분 가능 및 복합 목표 함수를 다루기 위해 Bregman 발산을 사용한 프록시미티 유사 업데이트를 적용한다.
• 비볼록 케이스에서 출력을 계산하기 위해 점진적 평균화를 대체하는 랜덤화 기법을 도입한다.

실험 결과

연구 질문

• RQ1 블록-좌표 분해를 확률적 미러 강하법과 효과적으로 융합하여 대규모 확률적 최적화에서 반복당 비용을 줄일 수 있는가?
• RQ2 SBMD가 비미분 가능, 미분 가능, 강凸 확률적 설정에서 어떤 수렴 속도와 반복 복잡도를 확보할 수 있는가?
• RQ3 SBMD는 비볼록 확률적 복합 최적화에서 어떻게 성능을 발휘하며, 어떤 복잡도 한계를 도출할 수 있는가?
• RQ4 점진적 평균화 기법을 비볼록 문제에서 수렴을 향상시키기 위해 랜덤화 기법으로 대체할 수 있는가?
• RQ5 블록 구조와 미니배치 샘플링은 SBMD의 전체 샘플 복잡도에 어떤 영향을 미치는가?

주요 결과

• 일반적인 비미분 가능 확률적 문제에서 $\mathcal{O}(b\bar{L}[φ(x_1) - \phi^*]/\epsilon)$의 반복 복잡도를 달성하여 $\epsilon$-최적 해를 찾는다.
• 미니배치 샘플링을 적용한 확률적 케이스에서는 총 샘플 수가 $\mathcal{O}(b^2\bar{L}\sigma^2[φ(x_1) - \phi^*]/\epsilon^2)$ 이하로 제한되며, 블록 분해 없이도 최첨단 방법과 유사한 성능을 보인다.
• 기대값의 최적성 갭 노름에 대해 $\mathcal{O}(1/N)$의 수렴 속도를 달성하며, 이때 상수 요소는 블록 구조와 문제의 조건 수에 따라 달라진다.
• 강한 조건 하에 기울기 노이즈와 블록 선택에 대한 약한 가정으로도 대편차 결과를 확립하여 고확률 수렴을 보였다.
• 비볼록 확률적 복합 문제로의 분석 확장을 통해 랜덤라이즈드 출력 기법을 통해 최악의 경우 복잡도 한계를 도출하였다.
• 특히 비미분 가능 및 비볼록 복합 문제에 대해 대편차 분석을 포함한 이론적 결과가 기존의 결정론적 블록-좌표 강하법에 비해 새로운 것으로 간주된다.