[논문 리뷰] Rows vs. Columns: Randomized Kaczmarz or Gauss-Seidel for Ridge Regression

Ahmed Hefny, Deanna Needell외 1명|arXiv (Cornell University)|2015. 07. 21.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 릿지 회귀에 대한 무작위화 카츠마르츠(RK) 및 무작위화 가우스-Seidel(RGS) 방법의 변형을 제안하고 분석하며, m > n일 때(RGS가 최적임을 보이고, n > m일 때(RK가 최적임을 보임)에 대해 분석함. 이전에 제안된 행과 열 업데이트를 모두 사용하는 방법(확장된 방법)이 비효율적일 수밖에 없는 반복을 포함하기 때문에 엄밀히 열 劣화됨을 증명함.

ABSTRACT

The Kaczmarz and Gauss-Seidel methods aim to solve a linear $m imes n$ system $\boldsymbol{X} \boldsymbolβ = \boldsymbol{y}$ by iteratively refining the solution estimate; the former uses random rows of $\boldsymbol{X}$ {to update $\boldsymbolβ$ given the corresponding equations} and the latter uses random columns of $\boldsymbol{X}$ {to update corresponding coordinates in $\boldsymbolβ$}. Interest in these methods was recently revitalized by a proof of Strohmer and Vershynin showing linear convergence in expectation for a extit{randomized} Kaczmarz method variant (RK), and a similar result for the randomized Gauss-Seidel algorithm (RGS) was later proved by Lewis and Leventhal. Recent work unified the analysis of these algorithms for the overcomplete and undercomplete systems, showing convergence to the ordinary least squares (OLS) solution and the minimum Euclidean norm solution respectively. This paper considers the natural follow-up to the OLS problem, ridge regression, which solves $(\boldsymbol{X}^* \boldsymbol{X} + λ\boldsymbol{I}) \boldsymbolβ = \boldsymbol{X}^* \boldsymbol{y}$. We present particular variants of RK and RGS for solving this system and derive their convergence rates. We compare these to a recent proposal by Ivanov and Zhdanov to solve this system, that can be interpreted as randomly sampling both rows and columns, which we argue is often suboptimal. Instead, we claim that one should always use RGS (columns) when $m > n$ and RK (rows) when $m < n$. This difference in behavior is simply related to the minimum eigenvalue of two related positive semidefinite matrices, $\boldsymbol{X}^* \boldsymbol{X} + λ\boldsymbol{I}_n$ and $\boldsymbol{X} \boldsymbol{X}^* + λ\boldsymbol{I}_m$ when $m > n$ or $m < n$.

연구 동기 및 목표

• 일반 최소 제곱법에서의 무작위화 카츠마르츠(RK) 및 무작위화 가우스-Seidel(RGS) 방법 분석을 일반화하여 릿지 회귀로 확장하기.
• 시스템의 과잉 결정 또는 과소 결정 성격에 따라 릿지 회귀에서 행 기반(RK) 또는 열 기반(RGS) 업데이트 중 최적의 선택을 규명하기.
• 최근 제안된 행-열 업데이트를 조합한 방법(Ivanov-Zhdanov)이 비효율적 반복을 포함하기 때문에 엄밀히 열 劣화됨을 입증하기.
• 릿지 회귀에서 RK 및 RGS 변형의 수렴 속도 분석을 제공하며, 조건 수에 대한 의존성을 강조하기.
• 이론적 및 실험적 검증에 기반해, m > n일 경우 RGS를, n > m일 경우 RK를 사용해야 함을 확립하기.

제안 방법

• 릿지 회귀를 선형 시스템으로 재구성하고, 이에 대해 이중 또는 원시 시스템에서의 무작위화 좌표 강하 방법으로 간주함으로써 RK 및 RGS 변형을 유도하기.
• 이중 형태를 사용하여 릿지 회귀를 (X^*X + λI) 행렬을 포함하는 시스템으로 표현함으로써, RGS 및 RK를 이중 변수에 적용할 수 있도록 함.
• 기대값 기반 수렴 속도 분석을 수행하며, X^*X + λI의 조건 수 및 최소 특이값 σ_min에 의존하는 경계를 도출함.
• 차원에 따라 업데이트 전략을 선택하는 새로운 알고리즘 프레임워크를 도입함: m > n일 경우 RGS, n > m일 경우 RK.
• 제안된 방법을 Ivanov-Zhdanov의 확장된 투영 방법과 비교함. 이는 RK 및 RGS 업데이트를 조합하지만, 비효율적 반복으로 인해 성능이 열 劣화됨.
• 수치 실험을 통해 이론적 수렴 속도 및 차원 인식 기반 선택 전략(RGS for m > n, RK for n > m)의 우수성을 검증함.

실험 결과

연구 질문

• RQ1 릿지 회귀에서 과잉 결정(m > n) 및 과소 결정(n > m) 상황에서, RK 또는 RGS 중 어느 무작위화 반복적 방법이 더 빠른 수렴을 달성하는가?
• RQ2 릿지 회귀에서 RK 및 RGS 변형의 수렴 속도는 설계 행렬의 조건 수 및 특이값에 어떻게 의존하는가?
• RQ3 행과 열 업데이트를 조합한 최근 제안된 Ivanov-Zhdanov의 확장된 투영 방법이 실질적으로 왜 엄밀히 열 劣화되는가?
• RQ4 시스템의 차원에 따라 최적의 업데이트 전략(행 또는 열)을 선택할 수 있는 통합 프레임워크를 수립할 수 있는가?
• RQ5 초기화가 릿지 회귀에서 RK 및 RGS의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• m > n일 경우(과잉 결정 케이스), 무작위화 가우스-Seidel(RGS) 방법이 더 빠르게 수렴하며 최적임을 입증함. 반면 무작위화 카츠마르츠(RK) 방법은 성능이 열 劣화됨.
• n > m일 경우(과소 결정 케이스), 무작위화 카츠마르츠(RK) 방법이 최적이며 RGS보다 더 빠르게 수렴함. RGS는 무한한 해가 존재해 해 복구가 열 劣화됨.
• 행과 열 업데이트를 조합한 Ivanov-Zhdanov의 확장된 투영 방법은 많은 반복이 진전 없이 이루어져 비효율적이며, 결과적으로 엄밀히 열 劣화됨.
• 제안된 방법은 m > n일 경우 RGS, n > m일 경우 RK를 선택함으로써, 이론적 경계에 부합하는 조건 수 의존성과 함께 기대값 기반 선형 수렴을 달성함.
• 수치 실험을 통해 RGS가 m > n 케이스에서 RK를 능가하고, RK가 n > m 케이스에서 RGS를 능가함을 확인함으로써 이론적 예측을 검증함.
• 제안된 방법의 수렴 속도는 σ_min 및 X^*X + λI의 조건 수에 의존하며, σ_min이 클수록 조건 수가 작을수록 더 빠른 수렴을 보임.