[논문 리뷰] On block Gaussian sketching for iterative projections

Deanna Needell, Elizaveta Rebrova|arXiv (Cornell University)|2019. 05. 21.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 대규모 과잉정의 선형 연립방정식을 해결하기 위해 블록 카츠마르츠 업데이트와 가우시안 스케칭을 결합한 새로운 반복적 투영 알고리즘인 블록 가우시안 카츠마르츠 방법을 소개하고 분석한다. 기대값 기반 지수 수렴을 확립하며, 노이즈에 강건한 복원을 위한 정규화와 같은 특정 상황에서는 반복 계산 비용이 더 높음에도 불구하고 다른 방법보다 뛰어난 성능을 보임을 밝힌다.

ABSTRACT

The Kaczmarz algorithm is one of the most popular methods for solving large-scale over-determined linear systems due to its simplicity and computational efficiency. This method can be viewed as a special instance of a more general class of sketch and project methods. Recently, a block Gaussian version was proposed that uses a block Gaussian sketch, enjoying the regularization properties of Gaussian sketching, combined with the acceleration of the block variants. Theoretical analysis was only provided for the non-block version of the Gaussian sketch method. Here, we provide theoretical guarantees for the block Gaussian Kaczmarz method, proving a number of convergence results showing convergence to the solution exponentially fast in expectation. On the flip side, with this theory and extensive experimental support, we observe that the numerical complexity of each iteration typically makes this method inferior to other iterative projection methods. We highlight only one setting in which it may be advantageous, namely when the regularizing effect is used to reduce variance in the iterates under certain noise models and convergence for some particular matrix constructions.

연구 동기 및 목표

• 비블록 버전의 카츠마르츠 방법에 대한 이론적 수렴 보장을 블록 가우시안 스케칭 변형으로 확장하기 위해.
• 기존의 반복적 투영 방법들과 비교하여 블록 가우시안 카츠마르츠 방법의 수치적 복잡도와 실용적 성능을 분석하기 위해.
• 정규화 성질이 반복 계산 비용이 더 높음에도 불구하고 실용적 이점을 제공하는 조건을 규명하기 위해.

제안 방법

• 해법은 시스템 행렬의 행 블록에 의해 정의된 해 부분공간에 현재 반복값을 투영하기 위해 블록 가우시안 스케칭을 사용한다.
• 다수의 행을 동시에 처리함으로써 표준 카츠마르츠 방법을 일반화하여 이론적으로 수렴 속도를 향상시킨다.
• 알고리즘은 잔차를 스케칭하기 위해 무작위 가우시안 행렬을 사용하며, 이로 인해 노이즈가 있는 데이터에서 반복값의 안정성을 높이는 정규화 효과가 발생한다.
• 확률적 추론과 행렬 농도 부등식을 사용하여 기대값 기반으로 수렴성을 분석한다.
• 이론적 분석은 반복 단위당 오차 감소의 기대값에 중점을 두며, 지수 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 비블록 케이스와 마찬가지로 블록 가우시안 카츠마르츠 방법이 기대값 기반으로 지수 수렴 속도를 보이는가?
• RQ2 블록 가우시안 카츠마르츠 방법에서 수렴 속도와 반복 계산 비용 간의 상충 관계는 어떠한가?
• RQ3 가우시안 스케칭의 정규화 효과가 표준 카츠마르츠 방법보다 실용적 이점을 제공하는 설정은 무엇인가?

주요 결과

• 블록 가우시안 카츠마르츠 방법은 비블록 버전으로부터 이론적 보장을 확장하여 기대값 기반 지수 수렴을 달성한다.
• 빠른 수렴에도 불구하고, 높은 반복 계산 복잡도로 인해 다른 반복적 투영 방법보다 일반적으로 효율성이 떨어진다.
• 가우시안 스케칭의 정규화 효과는 특정 노이즈 모델 하에서 반복값의 분산을 감소시켜 안정성을 향상시킨다.
• 이 방법은 고분해성 또는 노이즈가 많은 선형 연립방정식과 같이 노이즈에 강건하고 분산 감소가 중요한 특정 설정에서만 유리하다.
• 광범위한 실험 결과는 이론적 발견을 뒷받침하며 반복 수렴 속도와 계산 비용 간의 상충 관계를 확인한다.