[논문 리뷰] Stochastic Three-Composite Convex Minimization

Alp Yurtsever, Bằng Công Vũ외 1명|arXiv (Cornell University)|2017. 01. 31.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 스무딩 항이 리프시츠 연속 기울기를 가지며 제한 강凸성(restricted strong convexity)을 만족하는 세 개의 볼록 함수의 합을 최소화하기 위한 확률적 세 연산자 분할 방법인 S3CM을 제안한다. 알고리즘은 스무딩 항에 대해 무작위 기울기 추정치를 사용하고 나머지 두 항에 대해 프록시 연산자를 사용하여 표준 가정 하에 기대값 기준으로 O(1/n) 수렴 속도를 달성한다. 이는 결정론적 세 연산자 분할을 확률적 환경으로 확장한 것이다.

ABSTRACT

We propose a stochastic optimization method for the minimization of the sum of three convex functions, one of which has Lipschitz continuous gradient as well as restricted strong convexity. Our approach is most suitable in the setting where it is computationally advantageous to process smooth term in the decomposition with its stochastic gradient estimate and the other two functions separately with their proximal operators, such as doubly regularized empirical risk minimization problems. We prove the convergence characterization of the proposed algorithm in expectation under the standard assumptions for the stochastic gradient estimate of the smooth term. Our method operates in the primal space and can be considered as a stochastic extension of the three-operator splitting method. Numerical evidence supports the effectiveness of our method in real-world problems.

연구 동기 및 목표

• 스무딩 항에 대해 확률적 기울기를 처리할 수 있고 비스무딩 항에 대해 프록시 연산자를 사용할 수 있는 연산자 분할 방법의 격차를 메우기 위해.
• 기계 학습에서 이중 정규화된 경험 리스크 최소화에 적합한 확장 가능한 원자공간 최적화 알고리즘을 개발하기 위해.
• 표준 가정 하에 확률적 세 복합 볼록 최소화 문제에 대해 기대값 기준 수렴 보장을 제공하기 위해.
• 완전한 기울기 계산을 피하여 스트리밍 및 대규모 환경에서 효율적인 계산을 가능하게 하기 위해.

제안 방법

• 이 방법은 결정론적 세 연산자 분할을 확장하여 스무딩 항의 정확한 기울기를 비편향된 무작위 기울기 추정치로 대체한다.
• 각 반복 단계에서 스무딩 함수 h의 무작위 기울기를 사용한 전진 단계를 수행한 후, f와 g의 프록시 연산자를 사용한 두 개의 후진 단계를 수행한다.
• 제한 강凸성 하에서 수렴을 보장하기 위해 감소하는 스텝 사이즈 규칙 γₙ = γ₀/(n+1)을 사용한다.
• 이중 업데이트를 피하고 효율적 구현을 가능하게 하기 때문에 전적으로 원자공간에서 작동한다.
• f와 g가 계산 가능한 프록시 연산자를 가지며, h가 리프시츠 연속 기울기와 제한 강凸성을 만족하는 문제에 대해 설계되었다.
• 수렴 분석은 확률적 기울기의 표준 가정과 h의 제한 강凸성에 기반한다.

실험 결과

연구 질문

• RQ1 세 연산자 분할 방법의 확률적 확장이 세 복합 볼록 최소화 문제에 대해 O(1/n) 수렴을 달성할 수 있는가?
• RQ2 스무딩 항에 대해 오직 비편향된 무작위 기울기만을 사용할 경우 제안된 방법이 수렴을 유지하는가?
• RQ3 실제 기계 학습 문제에서 결정론적 대안과 비교해 실제로 알고리즘이 어떻게 성능을 내는가?
• RQ4 제한 강凸성과 확률적 기울기 하에서 수렴을 보장하는 데 필요한 학습률 스케줄은 무엇인가?

주요 결과

• 제안된 S3CM 알고리즘은 정리 2에 의해 증명된 바와 같이, 최적 해에 대한 제곱 상대 거리의 기대값 기준으로 O(1/n) 수렴 속도를 달성한다.
• FF100 데이터셋에 대한 수치 결과는 S3CM가 O(1/n)에 가까운 수렴 속도로 수렴함을 보여주며, 이는 이론적 분석을 지지한다.
• 비선형 SVM 분류 문제에서 학습률 γₙ = γ₀/(n+1)을 사용할 경우, 충분히 큰 γ₀에 대해 S3CM는 O(1/n)의 경험적 수렴을 달성하며, 이는 제한 강凸성 가정과 일치한다.
• S3CM는 전체 기울기 계산 대비 O(d)로 반복 단위 비용을 줄여 O(d²)에서의 결정론적 방법 대비 효율성을 높인다.
• 실제 실험에서 S3CM는 결정론적 세 연산자 분할보다 계산 효율성이 뛰어나면서도 수렴 정확도는 유사하게 유지한다.