[논문 리뷰] Randomized Quasi-Newton Updates are Linearly Convergent Matrix Inversion Algorithms

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|2016. 02. 04.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 13

한 줄 요약

이 논문은 선형 수렴 속도를 갖는 명시적 수렴 속도를 가진 행렬 역행렬을 위한 랜덤화된 쿼asi-뉴턴 알고리즘의 가족을 소개한다. 고전적인 쿼اسي-뉴턴 업데이트(예: BFGS, DFP)의 첫 번째 스트로스틱 블록 변형을 제안하고, 전역적인 선형 수렴을 확립하며, 대규모 문제에서 성능을 향상시키기 위해 적응형 샘플링을 도입한다.

ABSTRACT

We develop and analyze a broad family of stochastic/randomized algorithms for inverting a matrix. We also develop specialized variants maintaining symmetry or positive definiteness of the iterates. All methods in the family converge globally and linearly (i.e., the error decays exponentially), with explicit rates. In special cases, we obtain stochastic block variants of several quasi-Newton updates, including bad Broyden (BB), good Broyden (GB), Powell-symmetric-Broyden (PSB), Davidon-Fletcher-Powell (DFP) and Broyden-Fletcher-Goldfarb-Shanno (BFGS). Ours are the first stochastic versions of these updates shown to converge to an inverse of a fixed matrix. Through a dual viewpoint we uncover a fundamental link between quasi-Newton updates and approximate inverse preconditioning. Further, we develop an adaptive variant of randomized block BFGS, where we modify the distribution underlying the stochasticity of the method throughout the iterative process to achieve faster convergence. By inverting several matrices from varied applications, we demonstrate that AdaRBFGS is highly competitive when compared to the well established Newton-Schulz and minimal residual methods. In particular, on large-scale problems our method outperforms the standard methods by orders of magnitude. Development of efficient methods for estimating the inverse of very large matrices is a much needed tool for preconditioning and variable metric optimization methods in the advent of the big data era.

연구 동기 및 목표

• 매우 큰 행렬의 역행렬을 효율적으로 반복적으로 계산하는 방법을 개발하며, 특히 직접 방법이 불가능한 빅데이터 시대에 대응한다.
• 행렬 역행렬 문제에서 고전적인 쿼اسي-뉴턴 업데이트에 대한 스트로스틱 변형이 부족한 문제를 해결한다.
• 진짜 역행렬로의 수렴을 보장하면서도 행렬의 구조(대칭성, 양의 정부호성)를 유지한다.
• 실제로 수렴 속도를 가속화하기 위해 적응형 샘플링 전략을 설계한다.
• 랜덤화된 행렬 역행렬 알고리즘에 대해 명시적인 수렴 속도를 갖는 이론적 수렴 보장을 수립한다.

제안 방법

• 스케치 앤 프로젝트 또는 제약 앤 근사 최적화 문제로 행렬 역행렬을 재정의하여, 랜덤화된 반복 업데이트를 이끌어내는 방법을 제안한다.
• 랜덤 서브스페이스나 벡터를 샘플링하여 쿼اسي-뉴턴 방법(예: BFGS, DFP, PSB)에 대한 랜덤 블록 업데이트를 도입한다.
• 쌍대적 시각을 사용하여 쿼اسي-뉴턴 업데이트와 근사 역행렬 조절자 간의 연결 고리를 드러내어 근본적인 연결 고리를 밝혀낸다.
• 일반적인 샘플링 분포 하에서 오차의 기대 노름과 기대 오차의 노름을 분석하여 수렴 속도를 유도한다.
• 수렴 속도 상한을 최소화하기 위해 샘플링 분포를 최적화하여, 더 빠른 수렴을 위한 중요도 샘플링을 가능하게 한다.
• 반복 과정 중에 샘플링 분포를 수정하여 수렴 속도를 가속화하는 AdaRBFGS를 개발한다.

실험 결과

연구 질문

• RQ1 랜덤화된 쿼اسي-뉴턴 업데이트는 명시적인 수렴 속도를 갖는 전역 수렴 행렬 역행렬 알고리즘으로 정의될 수 있는가?
• RQ2 쿼اسي-뉴턴 업데이트와 근사 역행렬 조절자 간의 이론적 연결 고리는 무엇인가?
• RQ3 고전적인 쿼اسي-뉴턴 방법(예: BFGS, DFP)의 스트로스틱 블록 변형이 진짜 역행렬로 선형 수렴하는가?
• RQ4 적응형 샘플링 전략은 대규모 행렬 역행렬에서 수렴 속도를 어떻게 향상시킬 수 있는가?
• RQ5 실제로 Newton-Schulz와 최소 잔차(MR) 방법과 비교하여 제안된 방법은 실세계 행렬에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 랜덤화된 쿼اسي-뉴턴 방법은 전역적으로 선형 수렴하며, 행렬의 조건수에 따라 명시적인 수렴 속도를 갖는다.
• BFGS, DFP, PSB, BB, GB의 스트로스틱 블록 변형을 도입하고, 고정된 행렬의 진짜 역행렬로 수렴한다는 것을 증명한다.
• AdaRBFGS는 대규모 행렬에서 Newton-Schulz 및 최소 잔차 방법보다 수십 배에서 수백 배 빠른 성능을 보이며, real-sim 데이터셋의 20,958×20,958 행렬에서도 뛰어난 성능을 발휘한다.
• real-sim 문제에서 오직 AdaRBFGS만 합리적인 시간과 계산 비용 내에서 행렬을 역행렬로 성공적으로 계산했으며, 다른 방법들은 실패하거나 비현실적으로 느렸다.
• 스케치 앤 프로젝트와 제약 앤 근사 시각 간의 등가성은 쿼اسي-뉴턴 방법과 근사 역행렬 조절자 간의 깊은 이론적 연결 고리를 드러낸다.
• 수렴 속도 상한을 최소화하는 최적 및 적응형 샘플링 분포를 도출하여 실질적인 수렴 속도 향상을 이룬다.