[논문 리뷰] Stochastic Subspace Descent

David Kozak, Stephen Becker외 2명|arXiv (Cornell University)|2019. 04. 01.

Stochastic Gradient Optimization Techniques참고 문헌 87인용 수 8

한 줄 요약

이 논문은 함수 평가가 비용이 많이 들고 기울기가 이용 불가능한 상황에서 효율적이고 확장 가능한 최적화를 가능하게 하는 도구미분 최적화 방법인 Stochastic Subspace Descent(SSF)를 소개한다. 기울기를 무작위의 저차원 부분공간에 투영하여 구현한다. 볼록성 가정 하에서 수렴성을 확보하며, 기울기 하강법과 BFGS보다 기계학습 및 PDE 제약 최적화 문제에서 비볼록 문제에 대해 뛰어난 성능을 보인다. 이는 가우시안 프로세스 하이퍼파rameter 조정 및 형상 최적화를 포함한다.

ABSTRACT

We present two stochastic descent algorithms that apply to unconstrained optimization and are particularly efficient when the objective function is slow to evaluate and gradients are not easily obtained, as in some PDE-constrained optimization and machine learning problems. The basic algorithm projects the gradient onto a random subspace at each iteration, similar to coordinate descent but without restricting directional derivatives to be along the axes. This algorithm is previously known but we provide new analysis. We also extend the popular SVRG method to this framework but without requiring that the objective function be written as a finite sum. We provide proofs of convergence for our methods under various convexity assumptions and show favorable results when compared to gradient descent and BFGS on non-convex problems from the machine learning and shape optimization literature. We also note that our analysis gives a proof that the iterates of SVRG and several other popular first-order stochastic methods, in their original formulation, converge almost surely to the optimum; to our knowledge, prior to this work the iterates of SVRG had only been known to converge in expectation.

연구 동기 및 목표

• .
• 함수 평가가 비용이 많이 들거나 기울기가 확보되지 않는 상황, 예를 들어 PDE 제약 최적화 및 가우시안 프로세스와 같은 설정으로 도구미분 최적화를 확장한다.
• 축에 수직인 업데이트가 아닌 임의의 부분공간을 허용함으로써 좌표 하강법을 일반화하는 프레임워크를 개발한다.
• 유한합이 아닌 문제에 대해 SVRG 방법을 적응시켜, ERM 구조가 필요 없이 분산 감소를 가능하게 한다.
• 강한 볼록성 및 리프시츠 기울기 조건을 포함한 다양한 볼록성 가정 하에서 이론적 수렴 보장을 제공한다.

제안 방법

• .
• 알고리즘은 기울기의 전체값을 무작위 ℓ차원 부분공간에 투영하며, E[PP⊤] = Id이고 P⊤P = (d/ℓ)Iℓ를 만족하는 무작위 행렬 P를 사용한다.
• 각 반복 단계에서 반복값은 xk+1 = xk − αPkP⊤k∇f(xk)로 업데이트되며, 이는 무작위 부분공간 내에서 투영된 기울기 방향으로 내림차순한다.
• P가 대각행렬일 경우 이 방법은 무작위 블록좌표하강법을 일반화하지만, 임의의 부분공간 방향도 허용한다.
• 논문은 이 프레임워크에 대해 SVRG를 확장하여, 유한합 구조가 없더라도 기울기의 샘플샷을 기반으로 한 제어 변수를 사용한다.
• 이론적 분석에는 볼록, 강한 볼록, 리프시츠 연속 기울기 설정에서의 수렴 증명이 포함되며, 명시적인 수렴 속도가 유도된다.

실험 결과

연구 질문

• RQ1 .
• RQ2 기울기가 확보되지 않거나 계산에 비용이 많이 들 경우, Stochastic Subspace Descent(SSF)는 기울기 하강법과 유사한 수렴 속도를 달성할 수 있는가?
• RQ3 기계학습 및 PDE 제약 최적화 문제에서 비볼록 문제에 대해 SSF의 성능은 표준 기울기 하강법과 BFGS에 비해 어떻게 다른가?
• RQ4 이 부분공간 프레임워크를 통해 SVRG의 분산 감소 기법을 비유한합 문제에 성공적으로 확장할 수 있는가?
• RQ5 강한 볼록성 및 리프시츠 기울기 조건을 포함한 다양한 볼록성 가정 하에서 SSF의 이론적 수렴 성질은 무엇인가?
• RQ6 가우시안 프로세스 하이퍼파rameter 최적화와 같은 실용적 응용 분야에서 기존 도구미분 방법보다 SSF가 뛰어난 성능을 보이는가?

주요 결과

• .
• 강한 볼록성 조건 하에서 단계 크기 α = ℓ/(dλ)로 선형 수렴 속도를 확보하며, E[fe(xk)] ≤ (1 − ℓγ/(dλ))k fe(x0)를 만족한다.
• 리프시츠 기울기 조건을 만족하는 볼록 함수에 대해, SSF는 O(1/k)의 하향 수렴 속도를 보이며, E[fe(xk)] ≤ 2dλR²/(kℓ)를 만족한다.
• 기계학습 및 형상 최적화 문제에서 비볼록 문제에 대해 표준 기울기 하강법과 BFGS보다 뛰어난 성능을 보이며, 더 빠른 수렴과 뛰어난 안정성을 입증한다.
• 확장된 SVRG 변형은 강한 볼록성 조건 하에서 거의 확실한 수렴과 선형 수렴 속도를 확보하며, 재귀식 E[fe(˜xs)] ≤ β E[fe(˜xs−1)]에서 β = 1/(αγm(1 − αλρ))를 만족한다.
• 실증 결과로 SSF는 PDE 제약 최적화 및 희소 가우시안 프로세스와 같이 기울기 계산이 전체 함수 평가와 비용이 비슷한 환경에서 특히 효과적임을 보였다.
• 이론적 분석은 SSF가 기울기 하강법과 유사한 수렴 성질을 유지하면서도 고차원이고 평가에 비용이 많이 드는 문제에서 상당한 계산 절감 효과를 제공함을 확인한다.