[논문 리뷰] Stochastic Dual Ascent for Solving Linear Systems

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|2015. 12. 21.

Stochastic Gradient Optimization Techniques참고 문헌 70인용 수 54

한 줄 요약

이 논문은 선형 시스템을 반복적으로 최대화하는 비강한 볼록 이중 제곱문제를 해결하기 위한 새로운 확률적 알고리즘인 Stochastic Dual Ascent(SDA)를 소개한다. SDA는 최소한의 가정—즉, 시스템의 일致성—하에 기댓값으로 지수 수렴을 달성하며, 확률적 Kaczmarz 및 좌표 내림(descents)와 같은 기존 방법을 통합하고 개선한다. 수렴 속도는 시스템의 질량이 감소할수록 향상된다.

ABSTRACT

We develop a new randomized iterative algorithm---stochastic dual ascent (SDA)---for finding the projection of a given vector onto the solution space of a linear system. The method is dual in nature: with the dual being a non-strongly concave quadratic maximization problem without constraints. In each iteration of SDA, a dual variable is updated by a carefully chosen point in a subspace spanned by the columns of a random matrix drawn independently from a fixed distribution. The distribution plays the role of a parameter of the method. Our complexity results hold for a wide family of distributions of random matrices, which opens the possibility to fine-tune the stochasticity of the method to particular applications. We prove that primal iterates associated with the dual process converge to the projection exponentially fast in expectation, and give a formula and an insightful lower bound for the convergence rate. We also prove that the same rate applies to dual function values, primal function values and the duality gap. Unlike traditional iterative methods, SDA converges under no additional assumptions on the system (e.g., rank, diagonal dominance) beyond consistency. In fact, our lower bound improves as the rank of the system matrix drops. Many existing randomized methods for linear systems arise as special cases of SDA, including randomized Kaczmarz, randomized Newton, randomized coordinate descent, Gaussian descent, and their variants. In special cases where our method specializes to a known algorithm, we either recover the best known rates, or improve upon them. Finally, we show that the framework can be applied to the distributed average consensus problem to obtain an array of new algorithms. The randomized gossip algorithm arises as a special case.

연구 동기 및 목표

• 선형 시스템을 푸는 데 사용되는 새로운 확률적 반복 방법을 개발하여 이중 공간에서 작동하고 약한 가정 하에 빠른 수렴을 달성하고자 한다.
• 기존의 확률적 방법들인 확률적 Kaczmarz, 좌표 내림, 뉴턴 방법 등을 하나의 프레임워크로 통합하고자 한다.
• 원래 반복, 이중 함수 값, 이중성 간격, 잔차에 대해 날카러운 수렴 속도를 확립하고 명시적인 하한을 제시하고자 한다.
• 분산형 공감 문제로 프레임워크를 확장하여, 확률적 가십팅 알고리즘을 복구하고 일반화하고자 한다.
• 기존의 직관과는 반대로, 시스템의 질량이 감소할수록 수렴이 향상됨을 보여주고, 이는 수치 실험으로 검증된다.

제안 방법

• SDA는 제약 조건이 없는 비강한 볼록 이중 제곱문제를 최대화함으로써 이중 공간에서 작동한다.
• 각 반복 단계에서 고정된 분포 $ \rho $ 에서 독립적으로 랜덤 행렬 $ S $ 가 선택되며, 이중 반복은 $ y^{k+1} = y^k + S(S^\top A B^{-1} A^\top S)^\top S^\top (b - A(c + B^{-1}A^\top y^k)) $ 로 갱신된다.
• 스텝 사이즈 $ \theta^k $ 는 $ S $ 가 생성하는 부분공간에서 최적의 진전을 보장하기 위해 하위문제의 최소 노름 해로 선택된다.
• 원래 반복은 애핀 변환 $ x^k = c + B^{-1}A^\top y^k $ 을 통해 복원되며, 이는 이중 갱신과 원래 해를 연결한다.
• 이 방법의 수렴은 기대값 기반으로 분석되며, 이 수렴 속도는 $ A^\top A $ 의 최소 양의 고유값과 시스템의 질량에 따라 달라진다.
• 이 프레임워크는 기존 알고리즘을 일반화함을 보여주었다: $ S $ 를 랜덤 좌표 벡터로 선택하면 확률적 좌표 내림이 되며, $ S $ 를 항등행렬의 랜덤 부분행렬로 선택하면 확률적 뉴턴이 되며, $ S $ 를 가우시안 벡터로 선택하면 가우시안 내림이 된다.

실험 결과

연구 질문

• RQ1 기존의 확률적 반복 방법들을 일반화하는 통합 프레임워크를 개발할 수 있는가?
• RQ2 이중 목적이 강한 볼록이 아닐 경우, 이중 기반의 확률적 방법에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ3 이 방법의 수렴 속도는 시스템 행렬의 질량에 따라 어떻게 달라지며, 질량이 감소할수록 향상될 수 있는가?
• RQ4 이 프레임워크는 평균 공감과 같은 분산 최적화 문제로 확장될 수 있으며, 이는 기존 알고리즘인 확률적 가십팅을 복구하고 일반화하는가?
• RQ5 이러한 유형의 확률적 이중 방법에 대해 가능한 가장 날카로운 하한 수렴 속도는 무엇인가?

주요 결과

• SDA는 선형 시스템의 일치성 조건 이외에 추가로 어떠한 가정도 필요로 하지 않으며, 원래 반복, 이중 함수 값, 원래 함수 값, 이중성 간격, 잔차에 대해 기대값으로 지수 수렴을 달성한다.
• 수렴 속도의 하한은 $ 1 - 1/\text{Rank}(A) $ 이며, 이 하한은 $ A $ 의 질량이 감소할수록 향상된다. 이는 직관과는 반대되지만, 수치적으로 검증되었다.
• 특수화된 경우, 몇 가지 알려진 알고리즘에 대해 최고의 기존 수렴 속도를 달성한다. 확률적 Kaczmarz 및 확률적 좌표 내림을 복원하며, 일부 경우에서 그 수렴 속도를 향상시킨다.
• 확률적 Kaczmarz 방법의 경우, 이론적으로도 수치적으로도, $ A $ 의 행에 모두 영이 아닌 경우, 질량이 떨어진 시스템에서도 수렴이 가능하다고 예측하고 확인한다.
• 수치 실험에서 경험적 수렴 속도는 특히 저질량 시스템에서 예측된 속도 $ \rho = 1 - \frac{\tilde{\nu}_{\text{min}}(A^\top A)}{\norm{A}_F^2} $ 와 매우 밀접하게 일치한다.
• 프레임워크는 분산 공감으로 일반화될 수 있다: 확률적 가십팅 알고리즘이 특수한 경우로 나타나며, 그 복잡도는 간선 수와 그래프 라플라시안의 최소 비영 고유값의 역수에 따라 스케일링된다.