[논문 리뷰] Smoothed Analysis of the Condition Numbers and Growth Factors of Matrices

Arvind Sankar, Daniel A. Spielman외 1명|ArXiv.org|2003. 10. 12.

Random Matrices and Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 임의의 행렬에 대한 무작위 편향이 편향 없는 가우시안 소거법에서 큰 조건수 또는 높은 성장 인자 값을 갖는 것이 거의 일어나지 않음을 보여주는 부드러운 분석 프레임워크를 제안한다. 주요 결과는 선형 시스템을 정확하게 해결하기 위해 일반적으로 로그 정밀도—구체적으로 O(b + log n) 비트—만 필요하다는 것이다. 이는 이론적 최악의 경우 성능 한계에도 불구하고 가우시안 소거법이 실무에서 성공하는 이유를 설명한다.

ABSTRACT

Let $\orig{A}$ be any matrix and let $A$ be a slight random perturbation of $\orig{A}$. We prove that it is unlikely that $A$ has large condition number. Using this result, we prove it is unlikely that $A$ has large growth factor under Gaussian elimination without pivoting. By combining these results, we bound the smoothed precision needed by Gaussian elimination without pivoting. Our results improve the average-case analysis of Gaussian elimination without pivoting performed by Yeung and Chan (SIAM J. Matrix Anal. Appl., 1997).

연구 동기 및 목표

• 편향 없는 가우시안 소거법이 최악의 경우 복잡도가 열악함에도 불구하고 실무에서 잘 작동하는 이유를 설명하기 위해.
• 작은 무작위 편향 하에서 조건수와 성장 인자가 큰 확률을 분석하기 위해.
• 선형 시스템을 풀기 위한 부드러운 정밀도 요구 조건이 로그 수준임을 입증하여 이론과 실무 사이의 격차를 해결하기 위해.
• 이전의 평균 케이스 분석을 노이즈를 포함시켜 확장하여 실제 세계의 입력 변동에 더 강건한 결과를 도출하기 위해.
• 편중 또는 완전 편향이 있는 가우시안 소거법에 대한 부드러운 분석의 기초 결과를 마련하기 위해.

제안 방법

• 최악의 경우와 평균 케이스의 하이브리드인 부드러운 분석을 사용하여, 약간 변형된 입력에서 알고리즘의 기대 성능을 연구한다.
• 임의의 행렬 $\bar{\mathbf{A}}$에 대한 가우시안 편향 하에서 조건수 $\kappa(\mathbf{A}) = \|\mathbf{A}\|_2 \|\mathbf{A}^{-1}\|_2$ 를 분석한다.
• 가우시안 노이즈의 분산이 $\sigma^2 \leq 1$ 이고 $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ 이면, $\kappa(\mathbf{A}) \geq x$ 일 확률이 $O(n / (x\sigma))$ 이하로 유계임을 증명한다.
• 조건수의 경계를 편향 없는 가우시안 소거법에서의 성장 인자와 연결하여, 편향이 있을 경우 큰 성장 인자가 발생할 가능성이 낮음을 보여준다.
• 중간 항목이 큰 값을 갖을 가능성이 낮기 때문에, $\mathbf{A}\mathbf{x} = \mathbf{b}$ 를 $b$-비트 정밀도로 해결하기 위해 $O(b + \log n)$ 비트의 정밀도로 충분하다는 것을 유도한다.
• 영을 유지하는 편향과 대칭 행렬 구조를 고려하여, 특정한 악조건 행렬이 이러한 제약 조건 하에서도 여전히 문제를 일으킬 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 약간 편향된 행렬이 큰 조건수를 갖는 확률은 얼마인가요?
• RQ2 편향 없는 가우시안 소거법에서 편향된 행렬에 대해 큰 성장 인자를 유도할 가능성은 얼마나 되나요?
• RQ3 부드러운 분석은 최악의 경우 복잡도가 있음에도 불구하고 실무에서 가우시안 소거법의 강건성을 설명할 수 있나요?
• RQ4 영을 유지하는 편향은 비대칭 또는 대칭 행렬에서 악조건성이나 높은 성장 인자를 유지합니까?
• RQ5 편중 또는 완전 편향 하에서 성장 인자의 부드러운 경계는 무엇이며, 이는 편향 없음과 비교해 어떻게 되나요?

주요 결과

• 임의의 행렬 $\bar{\mathbf{A}}$ 에 대한 가우시안 편향이 조건수 $\kappa(\mathbf{A}) \geq x$ 를 갖는 확률은 $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ 이고 $\sigma^2 \leq 1$ 이면 $O(n / (x\sigma))$ 이하로 유계이다.
• $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ 인 경우, 부드러운 조건수는 $x$ 를 초과할 가능성이 $O(n \log n / (x\sigma))$ 이하로 낮다.
• 편향된 행렬에서는 중간 항목이 큰 값을 갖을 가능성이 낮기 때문에, 편향 없는 가우시안 소거법에서 큰 성장 인자는 거의 발생하지 않는다.
• 편향 없는 가우시안 소거법에 필요한 부드러운 정밀도는 $O(b + \log n)$ 비트이며, 여기서 $b$ 는 입력 정밀도이다. 이는 실무적 효율성을 설명한다.
• 역사례는 영을 유지하는 편향이 비대칭 행렬에서 악조건성을 유지할 수 있으며, 특정한 구조를 가진 행렬에서 큰 성장 인자를 유지할 수 있음을 보여준다.
• Wschebor의 개선된 경계는 유사한 조건 하에서 $\Pr[\kappa(\mathbf{A}) \geq x] \leq O(n \log n / (x\sigma))$ 를 보여주며, $O(n / (x\sigma))$ 가 날카로운 경계임을 지지하는 추측을 뒷받침한다.