[논문 리뷰] Fast Linear Convergence of Randomized BFGS

Dmitry Kovalev, Robert M. Gower외 2명|arXiv (Cornell University)|2020. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 자가-동조성이고 매끄럽고 강하게 볼록인 함수에 대해 랜덤화된 BFGS 방법에 대한 처음으로 의미 있는 선형 수렴 속도를 확립하며, 경사하강법보다 훨씬 빠르게 수렴할 수 있음을 보여준다. 이 방법은 효율적인 헤시안 정보 근사화를 위해 랜덤 스케치 행렬을 사용하며, 약한 조건 하에 높은 확률로 초선형 수렴을 가능하게 한다.

ABSTRACT

Since the late 1950's when quasi-Newton methods first appeared, they have become one of the most widely used and efficient algorithmic paradigms for unconstrained optimization. Despite their immense practical success, there is little theory that shows why these methods are so efficient. We provide a semi-local rate of convergence for the randomized BFGS method which can be significantly better than that of gradient descent, finally giving theoretical evidence supporting the superior empirical performance of the method.

연구 동기 및 목표

• 비선형 최적화에서 BFGS와 같은 준뉴턴 방법의 경험적 성공에 대한 이론적 근거를 제공하고, 강력한 수렴 속도 분석이 부족한 점을 보완하기 위해.
• 경사하강법보다 증명 가능하게 빠른 수렴 속도를 보이는 랜덤화된 BFGS 변종의 국소 선형 수렴 속도를 확립하기 위해.
• 목적 함수의 자가-동조성 조건을 최소한의 가정으로 하여 랜덤화된 BFGS 방법의 수렴 행동을 분석하기 위해.
• 방향 도함수만을 사용하여 효율적인 헤시안 근사화를 가능하게 하는 스케칭 기반 프레임워크를 개발하기 위해.
• 수치 실험을 통해 불량한 조건 수 문제에서의 방법의 실용적 효능을 입증하기 위해.

제안 방법

• 헤시안을 $\mathbf{H}_k \mathbf{S}_k$ 방식으로 근사하기 위해 $\tau \ll d$ 개의 열을 가진 랜덤 스케치 행렬 $\mathbf{S}_k \sim \mathcal{D}$ 를 사용하는 랜덤화된 BFGS 업데이트를 제안한다.
• 역헤시안 추정치를 유지하는 랜덤화된 BFGS 업데이트 규칙 $\mathbf{B}_{k+1} = \text{BFGS}(\mathbf{B}_k, \mathbf{H}_k, \mathbf{S}_k)$ 를 적용한다.
• 헤시안 스케칭을 $\tau$ 개의 경사도함수 방향 도함수를 통해 계산함으로써 저비용의 헤시안 근사화를 가능하게 한다.
• 함수의 최적성 부족과 $\mathbf{H}_*$-조건화 노름에서의 역헤시안 오차를 조합한 잠재 함수 $\Psi_k$ 를 도입한다.
• 일부 $\rho > 0$ 에 대해 수축 부등식 $\mathbb{E}[\Psi_{k+1}] \leq (1 - \rho/2)\Psi_k$ 를 확립함으로써 선형 수렴을 유도한다.
• 자기-동조성과 강한 볼록성 조건 하에서 수렴 속도를 유도하며, 조건 수 및 매끄러움 파라미터에 대한 명시적 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 랜덤화된 BFGS 방법이 경사하강법보다 증명 가능하게 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 자기-동조성 가정 하에서 랜덤화된 BFGS 방법의 국소 수렴 속도는 무엇인가?
• RQ3 랜덤 스케치 행렬의 사용이 준뉴턴 방법의 수렴에 어떤 영향을 미치는가?
• RQ4 랜덤 설정에서 헤시안 조건 수에 독립적인 수렴 속도를 유계로 유지할 수 있는가?
• RQ5 수렴 속도 향상에 기여하는 스케칭 분포 $\mathcal{D}$ 의 역할은 무엇인가?

주요 결과

• 랜덤화된 BFGS 방법은 $\mathbb{E}[\Psi_{k+1}] \leq (1 - \rho/2)\Psi_k$ 를 만족하는 국소 선형 수렴 속도를 확보하며, 여기서 $\rho > 0$ 는 매끄러움 및 강한 볼록성 파라미터에 의존한다.
• 수축 인자 $1 - \rho/2$ 가 경사하강법의 수렴 속도보다 훨씬 작을 수 있으므로, 수렴 속도가 경사하강법보다 엄격히 빠르다.
• 자기-동조 함수의 경우, $L_1, L_2, \mu$ 및 스케칭 품질에 대한 명시적 의존성을 포함하여 선형 수렴 속도를 달성한다.
• 방법은 거의 확실히 최적해로 수렴하며, $k \to \infty$ 일 때 $\sqrt{f(x_k) - f(x_*)} \to 0$ 이 거의 확실히 성립한다.
• 수치 실험 결과, 특히 SVD 기반 스케칭 분포를 사용할 경우, 불량한 조건 수 문제에서 뛰어난 성능을 보였다.
• 이론적 분석은 어떤 BFGS 변종에 대해서도 비점근적이고 의미 있는 수렴 속도를 제공하는 최초의 사례로, 오랫동안 지속된 이론적 격차를 해결한다.