[논문 리뷰] One Sample Stochastic Frank-Wolfe

Mingrui Zhang, Zebang Shen외 3명|arXiv (Cornell University)|2019. 10. 10.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 11

한 줄 요약

이 논문은 단일 샘플(stochastic) 프랭크-울프 알고리즘인 1-SFW를 소개한다. 이 알고리즘은 새로운 비편향 모멘텀 추정기법을 활용하여, 배치 크기나 학습률 조정이 필요 없이도 안정성과 효율성을 유지하면서도, 볼록 문제에 대해 $Ó(1/\epsilon^2)$, 비볼록 문제에 대해 $Ó(1/\epsilon^3)$의 최적 수렴 속도를 달성한다. 이는 스위치 없는 스토하스틱, 프로젝션 프리 최적화에서의 최적 성능이다.

ABSTRACT

One of the beauties of the projected gradient descent method lies in its rather simple mechanism and yet stable behavior with inexact, stochastic gradients, which has led to its wide-spread use in many machine learning applications. However, once we replace the projection operator with a simpler linear program, as is done in the Frank-Wolfe method, both simplicity and stability take a serious hit. The aim of this paper is to bring them back without sacrificing the efficiency. In this paper, we propose the first one-sample stochastic Frank-Wolfe algorithm, called 1-SFW, that avoids the need to carefully tune the batch size, step size, learning rate, and other complicated hyper parameters. In particular, 1-SFW achieves the optimal convergence rate of $\mathcal{O}(1/ε^2)$ for reaching an $ε$-suboptimal solution in the stochastic convex setting, and a $(1-1/e)-ε$ approximate solution for a stochastic monotone DR-submodular maximization problem. Moreover, in a general non-convex setting, 1-SFW finds an $ε$-first-order stationary point after at most $\mathcal{O}(1/ε^3)$ iterations, achieving the current best known convergence rate. All of this is possible by designing a novel unbiased momentum estimator that governs the stability of the optimization process while using a single sample at each iteration.

연구 동기 및 목표

• 단일 샘플 기반 기울기에서 기존 스토하스틱 프랭크-울프 방법의 불안정성과 열악한 수렴 성능를 해결한다.
• 프로젝션 프리 스토하스틱 최적화에서 샘플 효율성과 수렴 속도 사이의 상충 관계를 극복한다.
• 단 한 개의 스토하스틱 샘플만을 사용하는 반복마다 최적 수렴 복잡도를 달성하는 방법을 개발한다.
• 결정 변수에 따라 데이터 분포가 달라지는 비무시적(stochastic) 설정에서도 효율적인 최적화를 가능하게 한다.
• 하이퍼파rameter 조정 없이도 볼록, 비볼록, 단조 DR-하위모듈러러 설정에서 최신 기술 수준의 수렴 속도를 달성한다.

제안 방법

• 반복마다 한 개의 샘플만으로도 기울기 추정의 안정성을 높이기 위해 새로운 비편향 모멘텀 추정기법을 제안한다.
• 제약 집합 위에서 선형 최소화를 통해 프로젝션을 대체하는 일괄 샘플 스토하스틱 프랭크-울프 알고리즘(1-SFW)을 설계한다.
• 편향된 기울기 추정기에도 불구하고 수렴을 보장하기 위해 재귀적 평균화 기법을 도입한다.
• 비볼록 영역에서 수렴과 안정성을 균형 잡기 위해 감소하는 스텝 크기 $\eta_t = T^{-1}$ 를 사용한다.
• 수렴 한계를 유도하기 위해 목적 함수와 기울기의 스무쓰니스(smoothness) 및 유계성(boundedness) 가정을 활용한다.
• 분석 과정에서 쥰센의 부등식과 코시-슈바르츠 부등식을 적용하여 기대값 기반의 하위최적성 및 기울기 오차를 근사한다.

실험 결과

연구 질문

• RQ1 반복마다 단 한 개의 샘플만을 사용하는 스토하스틱 프랭크-울프 방법이 최적 수렴 속도를 달성할 수 있는가?
• RQ2 큰 미니배치나 분산 감소 기법에 의존하지 않고도 스토하스틱 프랭크-울프의 안정성을 유지할 수 있는가?
• RQ3 결정 변수에 따라 데이터 분포가 달라지는 비무시적 스토하스틱 설정에서도 제안된 방법이 최적의 복잡도를 유지하는가?
• RQ4 비볼록 문제에서 단일 샘플만으로도 $\mathcal{O}(1/\epsilon^3)$의 최고 수준 수렴 속도를 달성할 수 있는가?
• RQ5 배치 크기, 학습률 등의 하이퍼파rameter 조정 없이도 최적 수렴 성능를 유지할 수 있는가?

주요 결과

• 1-SFW는 스토하스틱 볼록 최소화 문제에서 $\mathcal{O}(1/\epsilon^2)$ 수렴 속도를 달성하며, 배치 방법의 최적 복잡도와 일치한다.
• 단조 DR-하위모듈러러 최대화 문제에서는 $(1 - 1/e) - \epsilon$의 근사값을 $\mathcal{O}(1/\epsilon^2)$의 샘플 복잡도로 달성한다.
• 비볼록 설정에서는 $\mathcal{O}(1/\epsilon^3)$ 반복 내에 $\epsilon$-일阶 정류점(first-order stationary point)을 찾는다. 이는 최고 수준의 기존 속도와 일치한다.
• 알고리즘은 반복마다 오직 한 개의 샘플만을 사용하며, 배치 크기, 스텝 크기, 학습률 조정이 필요 없다.
• 수렴 분석은 편향을 제어하고 안정성을 보장하는 새로운 비편향 모멘텀 추정기법에 기반한다.
• 이 방법은 결정 변수에 따라 데이터 분포가 달라지는 비무시적 스토하스틱 최적화에 적용 가능하며, 강화 학습 및 하위모듈러러 최적화 등 응용 범위를 넓힌다.