[논문 리뷰] Convergence Rates for Greedy Kaczmarz Algorithms, and Faster Randomized Kaczmarz Rules Using the Orthogonality Graph

Julie Nutini, Behrooz Sepehry외 4명|arXiv (Cornell University)|2016. 12. 22.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 10

한 줄 요약

이 논문은 선형 시스템을 해결하기 위해 랜덤화된 카츠마르츠 방법보다 더 빠른 수렴 속도를 달성하는 탐욕적 카츠마르츠 선택 규칙—특히 최대 잔차(MR) 및 최대 거리(MD) 규칙—을 제안한다. 이는 최대 잔차 규칙에 대한 최초의 다단계 수렴 분석을 제공하며, 짝짓기로된 행을 가진 행렬을 위한 수직성 그래프를 활용해 증명 가능하게 빠른 랜덤 선택 규칙을 제안하여 실질적인 수렴 속도를 크게 향상시킨다.

ABSTRACT

The Kaczmarz method is an iterative algorithm for solving systems of linear equalities and inequalities, that iteratively projects onto these constraints. Recently, Strohmer and Vershynin [J. Fourier Anal. Appl., 15(2):262-278, 2009] gave a non-asymptotic convergence rate analysis for this algorithm, spurring numerous extensions and generalizations of the Kaczmarz method. Rather than the randomized selection rule analyzed in that work, in this paper we instead discuss greedy and approximate greedy selection rules. We show that in some applications the computational costs of greedy and random selection are comparable, and that in many cases greedy selection rules give faster convergence rates than random selection rules. Further, we give the first multi-step analysis of Kaczmarz methods for a particular greedy rule, and propose a provably-faster randomized selection rule for matrices with many pairwise-orthogonal rows.

연구 동기 및 목표

• 탐욕적 카츠마르츠 알고리즘의 수렴 속도를 랜덤 선택 규칙과 비교하여 분석하고 향상시키는 것.
• 대규모 선형 시스템에서 탐욕적 선택 규칙을 효율적으로 구현하기 위한 계산 전략을 개발하는 것.
• 짝짓기로된 행을 가진 행렬을 위한 수직성 그래프를 활용해 증명 가능하게 빠른 랜덤 선택 규칙을 제안하는 것.
• 카츠마르츠 유형 방법에서 최대 잔차 규칙에 대한 최초의 다단계 수렴 분석을 제공하는 것.
• 탐욕적 규칙의 성능을 최소 제곱법 및 준지도 학습과 같은 실질적인 머신러닝 응용 분야에서 평가하는 것.

제안 방법

• 카츠마르츠 반복에서 다음으로 투영할 행을 선택하기 위해 최대 잔차(MR) 및 최대 거리(MD) 탐욕적 선택 규칙을 도입한다.
• 선택 우선순위를 유지하고 효율적으로 업데이트하기 위해 이진 힙 데이터 구조를 사용하여 각 반복에서 O(log m)의 업데이트 시간을 확보한다.
• 짝짓기로된 행을 식별하기 위해 수직성 그래프를 제안하며, 이는 겹치지 않는 제약 조건에 집중함으로써 더 빠른 랜덤 선택을 가능하게 한다.
• 수직성 그래프를 활용해 수렴 속도를 표준 랜덤 선택보다 향상시킬 수 있는 적응형 비균일 및 균일 샘플링 규칙을 정의한다.
• 다단계 분석 프레임워크를 적용하여 MR 규칙에 대한 더 날카운 수렴 한계를 유도하며, 이는 단일 단계 분석 대비 뛰어난 성능을 드러낸다.
• 제곱 오차와 해에 대한 거리 양쪽 목표에서 수렴을 균형 있게 향상시키기 위해 MR과 MD를 번갈아 사용하는 하이브리드 탐욕적 규칙을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 카츠마르츠 방법에서 최대 잔차 및 최대 거리와 같은 탐욕적 선택 규칙은 랜덤 선택 규칙에 비해 수렴 속도에서 어떻게 비교되는가?
• RQ2 최대 잔차 규칙에 대한 다단계 분석은 단일 단계 분석보다 더 날카운 수렴 한계를 제공할 수 있는가?
• RQ3 탐욕적 규칙의 구현 비용은 얼마이며, 이는 랜덤 또는 순환 규칙에 비해 실질적인 이점을 제공하는가?
• RQ4 행렬의 짝짓기로된 행의 구조는 더 빠른 랜덤 선택 규칙을 설계하는 데 활용될 수 있는가?
• RQ5 MR과 MD 선택을 조합한 하이브리드 탐욕적 규칙은 제곱 오차와 해에 대한 거리와 같은 다중 목표에서 수렴 성능을 어떻게 보이는가?

주요 결과

• 최대 잔차 규칙은 수렴 상수의 이론적 개선을 통해 랜덤 카츠마르츠보다 더 빠른 수렴 속도를 달성한다.
• 최대 잔차 규칙에 대한 어떤 카츠마르츠 알고리즘의 최초의 다단계 수렴 분석이 제공되며, 이는 단일 단계 무작위 선택 대비 뛰어난 성능을 드러낸다.
• 짝짓기로된 행을 가진 행렬의 경우, 제안된 수직성 그래프 기반의 랜덤 선택 규칙이 표준 랜덤 선택보다 증명 가능하게 더 빠른 수렴을 달성한다.
• 수치 실험에서 탐욕적 규칙은 특히 최소 제곱법 및 준지도 학습 작업에서 랜덤 선택보다 수렴 속도가 더 빠르게 나타난다.
• MR과 MD 선택을 번갈아 사용하는 하이브리드 탐욕적 규칙은 제곱 오차와 해에 대한 거리 양쪽 목표에서 균형 잡히고 빠른 수렴을 달성한다.
• 이진 힙과 같은 효율적인 데이터 구조를 사용할 경우 탐욕적 선택의 계산 비용은 랜덤 선택과 유사하여 대규모 문제에 있어서 실용적이다.