[논문 리뷰] On block Gaussian sketching for the Kaczmarz method

Deanna Needell, Elizaveta Rebrova|arXiv (Cornell University)|2019. 05. 21.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 대규모 선형 시스템을 해결하기 위한 블록 가우시안 카츠마르츠(BGK) 방법에 대한 최초의 이론적 수렴 분석을 제시하며, 일관성 있는 시스템과 일관성이 없는 시스템 모두에서 기대값 기반 지수 수렴을 보여준다. 이 방법은 무작위 가우시안 스케치를 사용해 블록 행을 투영하여 노이즈가 있는 환경에서 분산 감소를 개선하지만, 반복당 계산 비용이 높다는 점이 특징이다.

ABSTRACT

The Kaczmarz algorithm is one of the most popular methods for solving large-scale over-determined linear systems due to its simplicity and computational efficiency. This method can be viewed as a special instance of a more general class of sketch and project methods. Recently, a block Gaussian version was proposed that uses a block Gaussian sketch, enjoying the regularization properties of Gaussian sketching, combined with the acceleration of the block variants. Theoretical analysis was only provided for the non-block version of the Gaussian sketch method. Here, we provide theoretical guarantees for the block Gaussian Kaczmarz method, proving a number of convergence results showing convergence to the solution exponentially fast in expectation. On the flip side, with this theory and extensive experimental support, we observe that the numerical complexity of each iteration typically makes this method inferior to other iterative projection methods. We highlight only one setting in which it may be advantageous, namely when the regularizing effect is used to reduce variance in the iterates under certain noise models and convergence for some particular matrix constructions.

연구 동기 및 목표

• 블록 카츠마르츠 반복과 가우시안 스케치를 조합한 블록 가우시안 카츠마르츠(BGK) 방법에 대한 이론적 수렴 보장을 제공하기 위해.
• 스케치 크기가 수렴 속도와 안정성에 미치는 영향을 분석하며, 특히 노이즈가 존재할 경우에 초점을 맞추기 위해.
• 수렴 속도와 수치적 안정성 측면에서 표준 블록 카츠마르츠 및 스케칭이 없는 변형과의 비교를 위해.
• 가우시안 스케칭이 비가우시안 대안보다 실질적인 이점을 제공하는 조건을 조사하기 위해.
• 일관성이 없는 시스템에 대한 이론적 경계를 수립하고, 계산 오버헤드를 줄이기 위해 유한한 스케치 집합을 탐색하기 위해.

제안 방법

• BGK 방법은 매 반복마다 행렬 $ A $의 블록 행을 사용해 투영을 수행하며, 각 블록은 무작위 가우시안 스케치 행렬을 통해 사전 처리된다.
• 각 반복에서 알고리즘은 스케치된 블록 $ A_ au $ 의 모어-펜로즈 역행렬을 계산하여 해를 갱신한다: $ x_{k+1} = x_k + (A_ au)^ op (A_ au A_ au^ op)^{-1} (b_ au - A_ au x_k) $.
• 스케칭 행렬은 i.i.d. 가우시안이므로 오차 항을 정규화하고 부드럽게 하여, 특히 오차가 있는 우변항에서 유리하다.
• 이론적 분석은 특이값 성질과 행렬 $ A $ 의 프로베니우스 노름을 이용해 기대값 기반 오차 감소를 경계하는 데 기반한다.
• 유한한 가우시안 스케치 집합이 제안되고 분석되었으며, 이는 무한한 무작위 스케칭과 높은 확률로 동치임을 보였다.
• 이 방법은 일관성이 없는 시스템으로 확장되었으며, 기대 오차 감쇠와 분산 제어에 대한 수렴 경계가 유도되었다.

실험 결과

연구 질문

• RQ1 일관성 있는 선형 시스템에 대해 블록 가우시안 카츠마르츠 방법이 기대값 기반으로 지수 수렴을 이루는가?
• RQ2 스케치 크기 $ s $ 는 수렴 속도에 어떤 영향을 미치며, 빠른 수렴을 위한 최적의 $ s $ 는 무엇인가?
• RQ3 어떤 환경에서 표준 블록 카츠마르츠 방법보다 가우시안 스케칭이 실질적인 이점을 제공하는가?
• RQ4 유한한 가우시안 스케치 집합이 무한한 무작위 스케칭과 동일한 수렴 속도를 달성할 수 있는가?
• RQ5 BGK는 일관성이 없는 시스템에서 특히 반복 과정의 분산 감소 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• BGK 방법은 일관성 있는 시스템에서 지수 수렴을 기대값 기반으로 달성하며, 이 수렴 속도는 $ rac{ ext{tr}(A^T A)}{ ext{tr}(A^T A)} $ 와 $ rac{1}{ ext{tr}(A^T A)} $ 에 따라 달라지며, $ s=1 $ 일 때 기존 결과를 복원한다.
• 일관성 있는 시스템에서 블록 크기 $ s = n $ 일 경우 단 한 번의 반복만으로 수렴하므로, 가능할 경우 계산적으로 최적이다.
• 일관성이 없는 시스템에서는 BGK가 비스케칭 블록 카츠마르츠보다 오차 궤적의 분산을 크게 감소시켜, 특히 피크 노이즈가 존재할 경우 유리하다.
• 이론적 수렴 보장이 있음에도 불구하고, 수치 실험 결과 BGK는 가우시안 스케칭의 반복당 높은 계산 비용으로 인해 일반적으로 표준 블록 카츠마르츠에 뒤지게 된다.
• 고정된 $ O(m) $ 개의 가우시안 스케치 집합이 충분하여 고확률로 동일한 수렴 속도를 유지할 수 있으며, 반복적인 랜덤 샘플링의 필요성을 줄일 수 있다.
• BGK의 유일한 실질적 이점은 노이즈가 있는 시스템에서 가우시안 스케칭이 오차 피크를 부드럽게 하여 비스케칭 변형 대비 안정성을 향상시킨다는 점에서 발생한다.