[논문 리뷰] Adaptive Sketch-and-Project Methods for Solving Linear Systems

Robert M. Gower, Denali Molitor외 2명|arXiv (Cornell University)|2019. 09. 09.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 선형 시스템을 더 효율적으로 해결하기 위해 스케치-프로젝션 방법에 적응형 샘플링 규칙—최대거리, 비례, 캡핑—을 도입한다. 스케치 잔차를 기반으로 선택된 스케치를 통해 최대거리 규칙은 기존 방법보다 이론적으로도 실험적으로도 빠른 전역 선형 수렴을 달성하며, 스케치 크기가 중간일 경우 고정 샘플링과 유사한 반복당 비용을 유지한다.

ABSTRACT

We present new adaptive sampling rules for the sketch-and-project method for solving linear systems. To deduce our new sampling rules, we first show how the progress of one step of the sketch-and-project method depends directly on a sketched residual. Based on this insight, we derive a 1) max-distance sampling rule, by sampling the sketch with the largest sketched residual 2) a proportional sampling rule, by sampling proportional to the sketched residual, and finally 3) a capped sampling rule. The capped sampling rule is a generalization of the recently introduced adaptive sampling rules for the Kaczmarz method. We provide a global linear convergence theorem for each sampling rule and show that the max-distance rule enjoys the fastest convergence. This finding is also verified in extensive numerical experiments that lead us to conclude that the max-distance sampling rule is superior both experimentally and theoretically to the capped sampling rule. We also provide numerical insights into implementing the adaptive strategies so that the per iteration cost is of the same order as using a fixed sampling strategy when the number of sketches times the sketch size is not significantly larger than the number of columns.

연구 동기 및 목표

• 대규모 선형 시스템을 해결하기 위한 스케치-프로젝션 방법의 수렴 속도를 향상시키기 위해 적응형 샘플링 전략을 개발한다.
• 스케치된 잔차가 수렴에 미치는 영향을 분석하고, 이를 바탕으로 새로운 샘플링 규칙을 설계한다.
• 각 제안된 적응형 샘플링 규칙에 대해 전역 선형 수렴 보장을 제공한다.
• 실험적·이론적으로 적응형 전략을 비교하여 가장 효율적인 방법을 규명한다.
• 반복당 계산 비용이 고정 샘플링 전략과 유사하게 유지됨을 보장한다.

제안 방법

• 방법은 스케치 잔차를 기반으로 하여 적응형 샘플링을 이끌며, 각 스케치는 스케치 행렬을 사용해 시스템의 부분표본을 취한 것이다.
• 최대거리 규칙은 스케치 잔차의 크기가 가장 큰 스케치를 선택하여 반복당 진전을 최대화한다.
• 비례 샘플링 규칙은 스케치 잔차 크기 비례로 스케치를 선택한다.
• 캡핑 샘플링 규칙은 잔차의 가중 평균을 기반으로 임계값을 설정함으로써 이전의 적응형 카츠마르츠 규칙을 일반화한다.
• 스케치-프로젝션 업데이트는 선택된 스케치된 시스템의 해공간에 현재 반복값을 B-노름을 사용해 투영한다.
• 이론적 수렴은 반복당 진전과 스케치된 잔차 노름 간의 관계를 연결하는 새로운 분석을 통해 확립된다.

실험 결과

연구 질문

• RQ1 스케치된 잔차 크기는 단일 스케치-프로젝션 반복의 진전에 어떤 영향을 미치는가?
• RQ2 스케치된 잔차를 기반으로 한 적응형 샘플링 규칙이 고정 샘플링보다 수렴 속도에서 뛰어나게 될 수 있는가?
• RQ3 최대거리, 비례, 캡핑 중 어느 적응형 규칙이 가장 빠른 전역 선형 수렴 속도를 달성하는가?
• RQ4 적응형 샘플링의 계산 비용은 고정 샘플링과 비교해 어떻게 되며, 경쟁 가능할 수 있는가?
• RQ5 다양한 테스트 케이스에서 이론적 수렴 속도와 실증 성능 간의 비교는 어떻게 이루어지는가?

주요 결과

• 최대거리 샘플링 규칙은 제안된 모든 적응형 전략 중에서 가장 빠른 전역 선형 수렴 속도를 달성한다.
• 수치 실험 결과 최대거리 규칙이 다양한 테스트 문제에서 캡핑 규칙보다 수렴 속도와 안정성 면에서 뛰어나다는 것이 확인되었다.
• 스케치 수 × 스케치 크기가 열의 수보다 유의미하게 크지 않은 경우, 적응형 샘플링의 반복당 비용은 고정 샘플링과 같은 주기를 가진다.
• 비례 샘플링 규칙은 평균적으로 순차적 탐색을 통해 반복당 약 2q 플롭이 소요된다.
• 캡핑 적응형 샘플링 규칙은 반복당 총 비용이 6q + O(log q) 플롭이며, 가중 평균 대신 균일 평균을 사용할 경우 5q + O(log q)로 감소한다.
• 이론적 분석을 통해 표준 가정 하에 세 가지 적응형 샘플링 규칙 모두에 대해 전역 선형 수렴이 확인되었다.