[논문 리뷰] A fast algorithm for computing minimal-norm solutions to underdetermined systems of linear equations

Mark Tygert|ArXiv.org|2009. 05. 28.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 $ m < n $ 인 과소결정 선형계수 $ A\mathbf{p} = \mathbf{b} $ 의 최소노름 해를 계산하는 랜덤화 알고리즘을 제시한다. 이 알고리즘은 $ \mathcal{O}(mn\log(\sqrt{n}/\varepsilon) + m^3) $ 번의 연산을 사용하며, $ n \gg m $ 일 때 기존의 $ \mathcal{O}(m^2n) $ QR 또는 바이디아고나라이제이션 방법보다 훨씬 빠르다. 이 방법은 행렬-벡터 곱셈을 가속화하기 위해 부분표본화된 랜덤화 푸리에 변환(SRFT)을 활용하며, 높은 확률로 고정밀도 해를 도출한다.

ABSTRACT

We introduce a randomized algorithm for computing the minimal-norm solution to an underdetermined system of linear equations. Given an arbitrary full-rank m x n matrix A with m

연구 동기 및 목표

• 과소결정 선형계수 $ A\mathbf{p} = \mathbf{b} $ 의 최소-Euclidean-노름 해를 더 빠르게 계산하는 알고리즘을 개발하기 위해.
• 기존의 QR 또는 바이디아고나라이제이션 방법의 $ \mathcal{O}(m^2n) $ 경계를 넘지 않는 계산 비용을 낮추기 위해.
• 고정밀도 해를 상대 오차 $ \leq \varepsilon $ 이내로 확보하기 위해, 고확률로 작동하는 랜덤화 접근법을 사용하기 위해.
• 현대 데이터 분석에서 흔한 $ n \gg m $ 인 대규모 과소결정 계수를 효율적으로 해결하기 위해.

제안 방법

• 알고리즘은 부분표본화된 랜덤화 푸리에 변환(SRFT)을 사용하여 임의의 벡터에 대해 $ A $ 와 $ A^* $ 를 신속하게 적용함으로써 행렬-벡터 곱셈의 비용을 감소시킨다.
• 문제를 더 낮은 차원의 공간으로 투영하면서 해의 구조를 유지하기 위해 SRFT를 통한 랜덤화 전처리 단계를 적용한다.
• 집중도 측정 이론에서 유도된 오차 한계를 바탕으로 반복 보정을 통해 근사 해를 계산한다.
• SRFT 행렬 $ T_{l \times n} = G_{l \times n} H_{n \times n} $ 은 랜덤 샘플링, 이산 푸리에 변환, 랜덤 대각 스케일링을 조합하여 빠르고 안정적인 변환을 가능하게 한다.
• 이론적 경계(보조정리 3.1, 보조정리 5.2, 정리 5.4)에 의존하여 $ l \approx 4m $ 일 때 고확률 성공을 보장한다.
• 반복적으로 공액 경사법을 사용하여 투영된 시스템에서 해를 보정함으로써 저비용으로 고정밀도를 확보한다.

실험 결과

연구 질문

• RQ1 기존의 QR 또는 바이디아고나라이제이션 방법보다 랜덤화 알고리즘이 과소결정 시스템의 최소노름 해를 더 빠르게 도출할 수 있는가?
• RQ2 랜덤 투영을 사용할 때 고정밀도 최소노름 해를 계산하는 데 드는 계산 비용은 얼마인가?
• RQ3 특히 $ n \gg m $ 일 때, 랜덤화된 SRFT 기반 알고리즘의 성능은 $ m $ 과 $ n $ 에 따라 어떻게 변화하는가?
• RQ4 실패 확률은 얼마이며, 랜덤 행렬 이론을 통해 어떻게 경계를 설정할 수 있는가?
• RQ5 만약 $ A $ 와 $ A^* $ 가 벡터에 대해 신속하게 적용될 수 있다면, 알고리즘을 더 빠르게 만들 수 있는가?

주요 결과

• 알고리즘은 고확률로 상대 오차 $ \|\mathbf{x} - \mathbf{p}\| \leq \varepsilon \|\mathbf{p}\| $ 를 확보하며, 여기서 $ \mathbf{p} $ 는 최소노름 해이다.
• $ m = 512 $, $ n = 16384 $, 조건수 $ \kappa_A = 10^6 $ 일 때, 알고리즘은 전반적인 더블 정밀도에서 기존 QR보다 3배 빠르게 작동한다.
• $ n = 16384 $ 일 때, $ m = 512 $ 이면 알고리즘이 기존 방법보다 최대 3배 빠르며, $ n $ 이 증가할수록 성능 향상이 더욱 두드러진다.
• 10회의 시험 평균 실행 시간은 안정적이었으며, $ \varepsilon_{\rm r} $ 값은 $ 1.1 \times 10^{-15} $ 에서 $ 2.9 \times 10^{-14} $ 사이로 변동하여 고정밀도를 보여주었다.
• $ l = 4m $ 를 선택함으로써 실패 확률가 무시할 만큼 낮아졌으며, 광범위한 수치 실험에서 실패 사례가 관찰되지 않았다.
• 알고리즘의 비용 $ \mathcal{O}(mn\log(\sqrt{n}/\varepsilon) + m^3) $ 은 $ n \gg m $ 일 때 기존의 $ \mathcal{O}(m^2n) $ 보다 점근적으로 낮다.