[논문 리뷰] Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods

Dachao Lin, Haishan Ye외 1명|arXiv (Cornell University)|2021. 04. 18.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 헤시안 행렬 근사 기반의 새로운 분석 프레임워크를 도입하여, BFGS 및 SR1 변형을 포함한 게으른 및 무작위 준뉴턴 방법에 대해 명시적인 局소 초선형 수렴 속도를 확립한다. 조건 수와 차원에 명시적인 의존성을 가지는 비점근 수렴 경계를 제공함으로써, 브로이든 가족 내에서 무작위 및 게으른 업데이트에 대한 수렴 속도에 대한 열린 문제를 해결한다.

ABSTRACT

Optimization is important in machine learning problems, and quasi-Newton methods have a reputation as the most efficient numerical schemes for smooth unconstrained optimization. In this paper, we consider the explicit superlinear convergence rates of quasi-Newton methods and address two open problems mentioned by Rodomanov and Nesterov. First, we extend Rodomanov and Nesterov's results to random quasi-Newton methods, which include common DFP, BFGS, SR1 methods. Such random methods adopt a random direction for updating the approximate Hessian matrix in each iteration. Second, we focus on the specific quasi-Newton methods: SR1 and BFGS methods. We provide improved versions of greedy and random methods with provable better explicit (local) superlinear convergence rates. Our analysis is closely related to the approximation of a given Hessian matrix, unconstrained quadratic objective, as well as the general strongly convex, smooth, and strongly self-concordant functions.

연구 동기 및 목표

• 준뉴턴 방법에 대한 이론적 이해의 격차를 메우기 위해 명시적이고 점근적이지 않은 초선형 수렴 속도를 제공하는 것.
• Rodomanov와 Nesterov(2021b)의 게으른 준뉴턴 프레임워크를 DFP, BFGS, SR1를 포함한 무작위 준뉴턴 방법으로 확장하는 것.
• 새로운 게으른 및 무작위 업데이트 전략을 통해 SR1 및 BFGS 방법의 수렴 속도를 향상시키고, 증명 가능한 局소 초선형 수렴을 달성하는 것.
• 강凸성, 미분 가능성, 자가동조 함수 조건 하에서 수렴 분석을 수행하며, 조건 수와 차원에 대한 명시적 의존성을 포함하는 것.

제안 방법

• 헤시안 근사 오차에 기반한 새로운 분석 프레임워크를 제안하여, 역헤시안 근사 오차 행렬의 진화를 추적한다.
• 기존의 추가 기울기 정보가 필요한 게으른 선택 방식을 대체하기 위해, 기저에서 균일하게 무작위로 검색 방향을 선택하는 랜덤 업데이트 전략을 도입한다.
• 확률적 농도 불등식을 사용하여 수렴 경계를 유도하며, 오차가 조건 수 κ와 차원 d에 의존하는 속도로 감소함을 보여준다.
• 재귀적 오차 전파 및 행렬 섭동 분석을 통해 BFGS 및 SR1 방법의 게으른 및 무작위 변형에 대해 명시적인 수렴 속도를 확립한다.
• 비특이 행렬 L_k를 통한 변환을 사용하여 업데이트 동역학을 분리하고 헤시안 근사 오차 분석을 단순화한다.
• 브로이든 유형 업데이트와 현재 헤시안 근사와 진짜 헤시안 간의 정렬도를 기반으로 한 정규화를 조합한 새로운 행렬 업데이트 규칙을 적용한다.

실험 결과

연구 질문

• RQ1 무작위 준뉴턴 방법, 예를 들어 무작위 BFGS 및 무작위 SR1에 대해 명시적인 국소 초선형 수렴 속도를 확립할 수 있는가?
• RQ2 더 적은 정보를 요구함에도 불구하고, 무작위 업데이트가 게으른 업데이트와 유사한 수렴 속도를 달성하는가?
• RQ3 표준 브로이든 업데이트를 초월해 업데이트 전략을 개선함으로써 SR1 및 BFGS 방법의 수렴 속도를 향상시킬 수 있는가?
• RQ4 준뉴턴 방법에서 수렴 속도가 조건 수와 차원에 어떻게 명시적으로 의존하는가?
• RQ5 동일한 가정 하에서 게으른 변형과 무작위 변형의 수렴 속도는 어떻게 비교되는가?

주요 결과

• 무작위 준뉴턴 방법에 대해, 높은 확률로 다음 형태의 비점근 초선형 수렴 속도를 확립한다: $ \lambda_{k_0 + k} \leq \left(1 - \frac{1}{t+1}\right)^{k(k-1)/2} \cdot \left(\frac{1}{2}\right)^k \cdot \left(1 - \frac{1}{2\varkappa}\right)^{k_0} \lambda_0 $.
• 무작위 브로이든 방법의 경우, 초기화 단계 $ k_0 $ 는 $ O(d\varkappa \ln(d\varkappa / \delta)) $ 이며, 이는 차원과 조건 수에 의존함을 나타낸다.
• 게으른 및 무작위 BFGS 방법의 경우, $ k_0 = O((d + \varkappa)\ln(d\varkappa / \delta)) $ 로 나타나지며, 이는 무작위 브로이든보다 향상된 의존성을 보여준다.
• 게으른 및 무작위 SR1 방법의 경우, $ k_0 = O((d + \varkappa)\ln(d\varkappa)) $ 로 나타나며, 조건 수와 차원에 따라 명시적인 상수가 존재한다.
• 초기화 단계 동안 수렴 속도가 크게 향상되며, $ k_0 $ 반복 이후 잔차가 초선형적으로 감소한다.
• 분석을 통해 무작위 업데이트가 게으른 업데이트와 유사한 수렴 속도를 달성함을 확인하였으며, 경험적 관찰을 이론적 보장으로 뒷받침한다.