[논문 리뷰] Randomized Methods for Linear Constraints: Convergence Rates and Conditioning

D. Leventhal, Adrian S. Lewis|ArXiv.org|2008. 06. 18.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 선형 방정식계와 부등식계를 해결하기 위해 랜덤화된 좌표강하 및 반복적 투영 알고리즘의 변형을 분석하며, 적절한 확률 분포 하에서 기대값에 대한 수렴 속도가 조건수와 거리 정규성 측도에 의해 경계됨을 보여준다. 주요 기여는 선형 수렴 속도를 허프먼 오차 경계와 비정상 문제에 대한 거리와 같은 자연스러운 조건 측도와 연결하는 이론적 프레임워크를 제공하는 것이다.

ABSTRACT

We study randomized variants of two classical algorithms: coordinate descent for systems of linear equations and iterated projections for systems of linear inequalities. Expanding on a recent randomized iterated projection algorithm of Strohmer and Vershynin for systems of linear equations, we show that, under appropriate probability distributions, the linear rates of convergence (in expectation) can be bounded in terms of natural linear-algebraic condition numbers for the problems. We relate these condition measures to distances to ill-posedness, and discuss generalizations to convex systems under metric regularity assumptions.

연구 동기 및 목표

• 시스템 행렬의 조건수를 사용하여 선형 방정식계를 해결하기 위한 랜덤화된 좌표강하의 선형 수렴 속도를 확립하기 위해.
• 선형 부등식계에 대한 랜덤화된 반복적 투영 방법을 확장하고, 수렴 속도를 오차 경계와 불가능성에 대한 거리와 연관지기 위해.
• 거리 정규성 가정 하에 볼록 타당성 문제로 수렴 분석을 일반화하기 위해.
• 전통적인 조건 측도—예를 들어 조건수와 비정상 문제에 대한 거리—를 랜덤화된 알고리즘 성능과 연결하기 위해.
• 랜덤화된 알고리즘이 결정론적 방법과 비교하여 유사한 수렴 속도를 달성할 수 있으며, 이는 이론적 분석이 단순화됨을 보여주기 위해.

제안 방법

• 선형 시스템의 구조에 맞게 조정된 확률 분포를 사용하는 랜덤화된 좌표강하를 적용하여 기대값에 대한 선형 수렴을 보장한다.
• 선형 부등식 집합에서 제약 조건을 균일하게 랜덤으로 선택하는 랜덤화된 반복적 투영 기법을 적용한다.
• 거리의 기대 감소를 각 반복 단계에서 거리 정규성 이론과 오차 경계 이론을 활용해 경계한다.
• Pierra의 곱공간 공식을 사용하여 m개 집합의 타당성 문제를 두 개 집합 문제로 환원하여 평균 투영 방법의 분석을 가능하게 한다.
• 볼록성과 젠센 부등식을 활용하여 기대값 부등식을 도출함으로써, 랜덤화된 투영과 평균 투영 방법의 수렴 속도를 비교한다.
• 수렴 속도를 정량화하기 위해 허프먼 오차 경계와 레네가르의 불가능성에 대한 거리와 같은 조건 측도를 사용한다.

실험 결과

연구 질문

• RQ1 선형 시스템에 대한 랜덤화된 좌표강하가 표준 조건수에 의해 경계되는 선형 수렴 속도를 달성할 수 있는가?
• RQ2 선형 부등식계에 대한 랜덤화된 투영 방법은 결정론적 방법과 비교해 수렴 속도와 문제의 조건에 대한 의존성에서 어떻게 다른가?
• RQ3 거리 정규성과 오차 경계를 사용하여 랜덤화된 투영 알고리즘의 명시적 수렴 속도를 유도할 수 있는가?
• RQ4 선형 타당성 문제에서 랜덤화된 투영의 수렴 속도와 비정상 문제에 대한 거리 사이의 관계는 무엇인가?
• RQ5 평균 투영 방법은 균일하게 랜덤화된 투영보다 느리게 수렴하는가, 그리고 이는 정량화될 수 있는가?

주요 결과

• 랜덤화된 좌표강하 방법은 시스템 행렬의 조건수 함수에 의해 경계되는 기대값에 대한 선형 수렴 속도를 보인다.
• 선형 부등식계의 경우, 랜덤화된 반복적 투영 방법은 허프먼 오차 경계와 관련된 기대값에 대한 선형 수렴 속도를 달성한다.
• 랜덤화된 알고리즘의 수렴 속도는 $1 - \frac{1}{(m-1)\bar{\gamma}^2}$로 경계되며, 여기서 $\bar{\gamma}$는 진짜 모듈러스 $\gamma$보다 큰 정규성 모듈러스이다.
• 평균 투영 방법은 랜덤화된 투영 방법보다 느리게 수렴하지 않으며, 수렴 속도는 $1 - \frac{1}{m\bar{\gamma}^2}$로 경계된다.
• 분석은 전통적인 조건 측도—예를 들어 비정상 문제에 대한 거리와 에카르트-영 정리—를 랜덤화된 설정에서 알고리즘 수렴 속도와 연결한다.
• 결과는 거리 정규성 하에 볼록 타당성 문제로 일반화되며, 수렴 속도가 정규성 모듈러스에 따라 달라짐을 보여준다.