[논문 리뷰] Sketch and Project: Randomized Iterative Methods for Linear Systems and Inverting Matrices

Robert M. Gower|arXiv (Cornell University)|2016. 12. 19.

Stochastic Gradient Optimization Techniques참고 문헌 121인용 수 9

한 줄 요약

이 논문은 선형 시스템을 해결하고 행렬을 역행렬화하는 데 사용되는 확률적 반복 방법을 사용하여, 선형 시스템과 행렬 역행렬화를 위한 통합된 스케치-프로젝션 프레임워크를 제안한다. 문제를 더 단순한 부분 문제로 스케치하고, 그 해공간에 사영함으로써, 명시적인 수렴 속도를 갖는 지수 수렴을 달성한다. 이는 기존 알고리즘인 확률적 카츠마르츠와 좌표 강하법을 일반화하고 개선하며, 최적화된 샘플링과 블록 구조를 갖는 새로운 변형을 가능하게 한다.

ABSTRACT

Probabilistic ideas and tools have recently begun to permeate into several fields where they had traditionally not played a major role, including fields such as numerical linear algebra and optimization. One of the key ways in which these ideas influence these fields is via the development and analysis of randomized algorithms for solving standard and new problems of these fields. Such methods are typically easier to analyze, and often lead to faster and/or more scalable and versatile methods in practice. This thesis explores the design and analysis of new randomized iterative methods for solving linear systems and inverting matrices. The methods are based on a novel sketch-and-project framework. By sketching we mean, to start with a difficult problem and then randomly generate a simple problem that contains all the solutions of the original problem. After sketching the problem, we calculate the next iterate by projecting our current iterate onto the solution space of the sketched problem.

연구 동기 및 목표

• 대규모 선형 시스템을 해결하고 행렬을 역행렬화하기 위해 확률적 반복 방법을 사용하는 통합된 확률적 프레임워크를 개발하는 것.
• 확률적 카츠마르츠, 좌표 강하법, 뉴턴 유사 방법과 같은 기존의 확률적 방법들을 민감한 스케치-프로젝션 공식을 통해 일반화하고 개선하는 것.
• 이 프레임워크를 이중 방법으로 확장하여 해공간에 대한 사영을 계산할 수 있도록 하여 분산 공감 및 조건수 개선에의 적용을 가능하게 하는 것.
• 대칭성과 정부정부성의 구조적 성질을 유지하는 새로운 확률적 준뉴턴 업데이트를 설계하여, 전역적인 지수 수렴을 달성하는 것.
• 반복 과정에서 샘플링 분포를 조정하여 대규모 문제에서 수렴 속도를 가속화하는 적응형 변형을 개발하는 것.

제안 방법

• 스케치-프로젝션 방법은 원래 시스템의 모든 해를 유지하는 임의의 부분 문제(스케치)를 생성한 후, 현재 반복값을 스케치된 문제의 해공간에 사영한다.
• 이 방법은 여섯 가지 등가 형태로 공식화된다: 스케치-프로젝션, 제약-근사, 무작위 교차, 무작위 선형 해법, 무작위 업데이트, 무작위 고정점.
• 수렴은 두 개의 매개변수에 의해 결정되며, 기하학을 정의하는 정부정부 행렬과 반복마다 독립적으로 동일하게 분포된 무작위 행렬이다.
• 이중 공식화인 스 tochastic Dual Ascent(SDA)는 무작위 행렬의 열이 생성하는 부분공간에서 이중 변수를 갱신함으로써, 비강한 볼록인 이중 함수를 반복적으로 최대화한다.
• 행렬 역행렬화의 경우, 프레임워크는 고전적인 준뉴턴 업데이트(예: BFGS, DFP)의 확률적 블록 변형을 생성하며, 대칭성과 정부정부성을 유지한다.
• 적응형 변형인 AdaRBFGS는 반복 과정에서 샘플링 분포를 동적으로 수정하여 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 일관된 확률 원칙 아래에서 알려진 확률적 반복 해법이 선형 시스템에 대해 통합된 프레임워크로 개발될 수 있는가?
• RQ2 스케치-프로젝션 방법의 수렴 속도는 스케치 행렬과 기하학 행렬의 선택에 따라 어떻게 달라지는가?
• RQ3 스케치-프로젝션 프레임워크는 선형 시스템의 해공간에 대한 벡터의 사영을 계산하는 데 확장될 수 있는가?
• RQ4 이 프레임워크는 대칭성과 정부정부성과 같은 구조적 성질을 유지하는 방식으로 행렬 역행렬화에 적응시킬 수 있는가?
• RQ5 행렬 역행렬화 및 선형 시스템 해법에서 수렴 속도를 가속화하기 위한 적응형 샘플링 전략을 설계할 수 있는가?

주요 결과

• 스케치-프로젝션 방법은 오차 노름의 기대값에서 지수 수렴을 달성하며, 모든 특수 케이스의 수렴 분석을 통합하는 단일 정리로 이루어진다.
• 기대 반복값은 정확한 공식에 따라 진화하며, 수렴 속도에 대한 정확한 하한을 제공한다.
• 스토크래틱 이중 상승(SDA) 방법은 최소한의 가정(오직 시스템의 일致성만 필요) 하에서도 벡터의 해공간에 대한 사영으로 지수적으로 수렴한다.
• SDA의 수렴 속도는 시스템 행렬의 질량이 감소할수록 향상되며, 이는 낮은 랭크 설정에서 비직관적이지만 유리한 특성이다.
• AdaRBFGS 방법은 대규모 문제에서 뉴턴-슐츠와 표준 근사 조건수 개선 방법보다 수십 배에서 수백 배 이상 빠른 성능을 보이며, 특히 항등행렬에서 초기화된 경우에 뚜렷한 우수성을 보인다.
• 프레임워크는 준뉴턴 업데이트와 근사 역행렬 조건수 개선 간의 기본적인 이중성 관계를 드러내며, 이 두 유형의 방법 간에 새로운 이론적 연결을 수립한다.