[논문 리뷰] The Effect of Coherence on Sampling from Matrices with Orthonormal Columns, and Preconditioned Least Squares Problems

Ilse C. F. Ipsen, Thomas Wentworth|arXiv (Cornell University)|2012. 03. 21.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 열이 정규직교인 행렬에 대해 교체 없이 추출, 교체하여 추출, 베르누이 추출과 같은 행 샘플링 전략을 분석하며, 혼동도와 리커지 점수를 기반으로 조건수 한계를 도출한다. 이는 적어도 $\mathcal{O}(m\mu\ln n)$개의 행을 추출할 경우 높은 확률로 잘 조건화된 샘플링된 행렬을 확보할 수 있음을 보여주며, 사용자가 정의한 혼동도와 리커지 점수를 가진 행렬을 생성하는 알고리즘을 제공한다. 이는 kappa_SQ_v3 도구상자로 검증되었다.

ABSTRACT

Motivated by the least squares solver Blendenpik, we investigate three strategies for uniform sampling of rows from m x n matrices Q with orthonormal columns. The goal is to determine, with high probability, how many rows are required so that the sampled matrices have full rank and are well-conditioned with respect to inversion. Extensive numerical experiments illustrate that the three sampling strategies (without replacement, with replacement, and Bernoulli sampling) behave almost identically, for small to moderate amounts of sampling. In particular, sampled matrices of full rank tend to have two-norm condition numbers of at most 10. We derive a bound on the condition number of the sampled matrices in terms of the coherence μ of Q. This bound applies to all three different sampling strategies; it implies a, not necessarily tight, lower bound of O(m μ ln(n)) for the number of sampled rows; and it is realistic and informative even for matrices of small dimension and the stringent requirement of a 99 percent success probability. For uniform sampling with replacement we derive a potentially tighter condition number bound in terms of the leverage scores of Q. To obtain a more easily computable version of this bound, in terms of just the largest leverage scores, we first derive a general bound on the two-norm of diagonally scaled matrices. To facilitate the numerical experiments and test the tightness of the bounds, we present algorithms to generate matrices with user-specified coherence and leverage scores. These algorithms, the three sampling strategies, and a large variety of condition number bounds are implemented in the Matlab toolbox kappa_SQ_v3.

연구 동기 및 목표

• 정규직교 열을 가진 행렬에서 샘플링된 부분행렬의 조건수에 혼동도가 미치는 영향을 조사하는 것.
• 교체 없이 추출, 교체하여 추출, 베르누이 추출과 같은 세 가지 샘플링 전략이 잘 조건화되고, 전체 질량을 가진 샘플링된 행렬을 생성하는 데 얼마나 효과적인지 평가하는 것.
• 혼동도와 리커지 점수를 기반으로 샘플링된 행렬의 두 노름 조건수에 대해 날카롭고 계산 가능한 한계를 도출하는 것.
• 실험적 검증을 위한 사용자 정의 혼동도와 리커지 점수를 가진 행렬을 생성하는 알고리즘을 개발하는 것.
• 제안된 한계와 샘플링 전략을 kappa_SQ_v3 MATLAB 도구상자에 구현하고 테스트하는 것.

제안 방법

• 주어진 대각선 스케일링 행렬의 두 노름에 대한 일반적 한계를 주요화 및 고유값-대각선 원소 관계를 이용해 유도한다.
• 모든 세 가지 샘플링 전략에 대해 혼동도 $\mu$ 기반의 샘플링된 행렬의 조건수 한계를 확립하며, 이는 높은 성공 확률을 확보하기 위해 $\mathcal{O}(m\mu\ln n)$개 이상의 행을 샘플링해야 한다는 하한선을 암시한다.
• 균일한 교체 추출에 대해 리커지 점수를 이용한 더 날카운 조건수 한계를 도출하고, 가장 큰 리커지 점수를 기반으로 단순화된 버전을 제공한다.
• 주요화 및 대칭 행렬 구성 기반으로 정규직교 열을 가진 $m \times n$ 행렬을 사용자 지정 혼동도와 리커지 점수로 생성하는 새로운 알고리즘을 제안한다.
• 모든 샘플링 전략, 한계, 행렬 생성 알고리즘을 개방형 MATLAB 도구상자인 kappa_SQ_v3에 구현하여 재현 가능한 실험을 가능하게 한다.
• 다양한 차원과 혼동도 수준을 가진 행렬에 대한 광범위한 수치 실험을 통해 이론적 한계를 검증한다.

실험 결과

연구 질문

• RQ1 정규직교 열을 가진 행렬에서 무작위로 추출된 부분행렬의 조건수에 혼동도 $\mu$가 어떻게 영향을 미치는가?
• RQ2 교체 없이 추출, 교체하여 추출, 베르누이 추출과 같은 서로 다른 샘플링 전략이 샘플링된 행렬의 조건화 행동에 유의미한 차이를 보이는가?
• RQ3 혼동도와 리커지 점수 기반으로 샘플링된 행렬의 조건수에 대해 날카롭고 계산 가능한 한계를 도출할 수 있는가?
• RQ4 샘플링된 행렬이 높은 확률로 잘 조건화되도록 하기 위해 최소 몇 개의 행을 추출해야 하는가?
• RQ5 실험적 테스트를 위한 임의의 사용자 지정 혼동도와 리커지 점수를 가진 행렬을 알고리즘적으로 생성할 수 있는가?

주요 결과

• 샘플링된 행렬 $SQ$의 조건수는 높은 확률로 $\mathcal{O}(m\mu\ln n)$ 이내로 제한되며, 잘 조건화된 상태를 확보하기 위해 필요한 최소 행 수에 대한 이론적 하한선을 제공한다.
• 수치 실험 결과, 교체 없이 추출, 교체하여 추출, 베르누이 추출의 세 전략 모두 소규모에서 중간 수준의 샘플링 수준에서 거의 동일한 행동을 보였다.
• 전체 질량을 가진 샘플링된 행렬은 일반적으로 두 노름 조건수가 10 이내로 유지되어 강력한 수치적 안정성을 나타낸다.
• 교체하여 추출의 경우 리커지 점수 기반으로 더 날카운 조건수 한계를 도출하였으며, 이는 혼동도 기반 한계를 향상시킨다.
• 제안된 알고리즘은 사용자 지정 혼동도와 리커지 점수를 가진 행렬을 생성하여 제어된 실험과 이론적 한계의 검증을 가능하게 한다.
• kappa_SQ_v3 도구상자는 모든 구성 요소—행렬 생성, 샘플링 전략, 조건수 한계—를 성공적으로 구현하여 재현 가능한 연구를 가능하게 하였다.