[논문 리뷰] Rows vs Columns for Linear Systems of Equations - Randomized Kaczmarz or Coordinate Descent?

Aaditya Ramdas|arXiv (Cornell University)|2014. 06. 20.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 선형 시스템을 해결하기 위한 랜덤라이즈드 카츠마르츠(RK)와 랜덤라이즈드 좌표강하(RCD) 간의 깊이 있는 개념적·알고리즘적 연결을 수립하며, RK가 확률적 경사하강법 방법보다는 RCD의 변종으로 더 자연스럽게 이해되어야 한다고 보여준다. 또한 그라프 매트릭스를 형성하지 않는 커널 리지 회귀를 위한 카츠마르츠 스타일 알고리즘을 도입하여 스케일러블한 커널 방법에 선형 수렴 보장을 제공한다.

ABSTRACT

This paper is about randomized iterative algorithms for solving a linear system of equations $X β= y$ in different settings. Recent interest in the topic was reignited when Strohmer and Vershynin (2009) proved the linear convergence rate of a Randomized Kaczmarz (RK) algorithm that works on the rows of $X$ (data points). Following that, Leventhal and Lewis (2010) proved the linear convergence of a Randomized Coordinate Descent (RCD) algorithm that works on the columns of $X$ (features). The aim of this paper is to simplify our understanding of these two algorithms, establish the direct relationships between them (though RK is often compared to Stochastic Gradient Descent), and examine the algorithmic commonalities or tradeoffs involved with working on rows or columns. We also discuss Kernel Ridge Regression and present a Kaczmarz-style algorithm that works on data points and having the advantage of solving the problem without ever storing or forming the Gram matrix, one of the recognized problems encountered when scaling kernelized methods.

연구 동기 및 목표

• 랜덤라이즈드 카츠마르츠(RK)와 랜덤라이즈드 좌표강하(RCD) 간의 개념적 관계를 명확히 하여, RK를 확률적 경사하강법으로 보는 일반적인 시각에 도전한다.
• 일관성 있는/유일한 해, 일관성 있는/무한해, 일관성 없는 시스템의 다양한 조건 하에서 RK와 RCD의 수렴 행동을 분석한다.
• 그라프 매트릭스를 명시적으로 계산하지 않는 카츠마르츠 스타일 알고리즘을 개발하여 커널 리지 회귀에 적용함으로써 커널 방법의 스케일러비리티를 향상시킨다.
• RK와 RCD의 수렴 증명 기법을 통합하여, 그들의 구조적 유사성과 알고리즘적 트레이드오프를 부각시킨다.

제안 방법

• 행 또는 열 노름에 기반해 업데이트하는 방법으로, RK와 RCD를 모두 통합된 프레임워크 내에서 비교한다.
• 수렴을 보장하기 위해 제곱된 행 또는 열 노름 비례 확률을 사용해 랜덤 선택을 적용한다.
• 데이터 매트릭스 또는 커널 매트릭스의 스펙트럼 성질을 활용해 리지 회귀 및 커널 리지 회귀 맥락에서 RK와 RCD의 수렴 속도를 유도한다.
• 전체 그라프 매트릭스를 형성하지 않고도 커널 평가를 통해 이중 변수 α를 업데이트하는 카츠마르츠 스타일 알고리즘을 제안한다.
• 명시적인 행렬 역행렬 계산을 피하기 위해, 커널 평가를 통해 특징 공간에서 업데이트를 수행하는 이중 형태를 활용한다.
• 리지 및 커널 리지 설정에서 RK와 RCD의 선형 수렴 속도를 확립하며, 정규화된 커널 매트릭스 또는 공분산 매트릭스의 최소 고유값과 트레이스에 대한 명시적 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 일관성 있는 및 일관성 없는 선형 시스템을 풀 때, 랜덤라이즈드 카츠마르츠와 랜덤라이즈드 좌표강하의 수렴 행동은 어떻게 비교될 수 있는가?
• RQ2 왜 랜덤라이즈드 카츠마르츠는 확률적 경사하강법이 아니라 좌표강하의 변종으로 더 자연스럽게 해석되어야 하는가?
• RQ3 그라프 매트릭스를 형성하지 않으면서도 선형 수렴을 유지할 수 있는 카츠마르츠 스타일 알고리즘을 커널 리지 회귀에 대해 설계할 수 있는가?
• RQ4 다양한 시스템 조건 하에서 RK와 RCD의 수렴 속도 및 해 성질(예: 최소 노름 vs. 최소 제곱)의 주요 차이는 무엇인가?
• RQ5 행 기반 및 열 기반 업데이트 간의 이중성은 더 단순하고 해석 가능한 수렴 증명을 유도하는 데 어떻게 활용될 수 있는가?

주요 결과

• 시스템이 일관성 있고 유일한 해를 가질 경우, RK와 RCD는 거의 동일한 선형 수렴 속도로 해에 수렴하며, 거의 동일한 수렴 증명을 갖는다.
• 일관성 있는 시스템에서 해가 유일하지 않으면, RK는 최소 노름 해로 수렴하지만 RCD는 그렇지 않으며, 이는 이러한 설정에서 RK가 더 바람직하다는 것을 의미한다.
• 일관성 없는 시스템의 경우, RCD는 최소 제곱 해로 수렴하지만 RK는 그렇지 않으며, 잔차 오차를 최소화하는 것이 목표일 때 RCD가 선호된다.
• 커널 리지 회귀에서 RK의 수렴 속도는 (1 - σ_min(K + λI_n) / Tr(K + λI_n))^t 로 유계이며, 이는 정규화된 커널 매트릭스의 최소 고유값과 트레이스에 의존한다.
• 제안된 커널 리지 회귀를 위한 카츠마르츠 스타일 알고리즘은 그라프 매트릭스를 완전히 형성하지 않아 계산 및 저장 비용을 줄이며, 반복당 O(n) 비용으로 선형 수렴을 달성한다.
• 리지 회귀에서 RCD의 수렴 속도는 (1 - σ_min(Σ + λI_p) / Tr(Σ + λI_p))^t 이며, 특히 n > p 또는 p > n일 경우 RK와의 고유값 의존성에 미묘한 차이가 있다.