[논문 리뷰] Low-Rank Matrix Approximations with Flip-Flop Spectrum-Revealing QR Factorization

Yuehua Feng, Jianwei Xiao외 1명|arXiv (Cornell University)|2018. 03. 06.

Tensor decomposition and applications참고 문헌 59인용 수 3

한 줄 요약

이 논문은 스펙트럼을 드러내는 QR (SRQR) 인수분해와 부분 LQ 인수분해를 조합한 빠르고 신뢰할 수 있는 저질서 행렬 근사 방법인 Flip-Flop SRQR을 소개한다. 이 방법은 낮은 계산 비용으로 잘린 SVD와 유사한 정확도를 달성하며, 특히 단일값이 급격히 감소하는 행렬에 대해 랜덤화된 부분 공간 반복보다 빠른 속도를 보이며 높은 정확도를 유지한다.

ABSTRACT

We present Flip-Flop Spectrum-Revealing QR (Flip-Flop SRQR) factorization, a significantly faster and more reliable variant of the QLP factorization of Stewart, for low-rank matrix approximations. Flip-Flop SRQR uses SRQR factorization to initialize a partial column pivoted QR factorization and then compute a partial LQ factorization. As observed by Stewart in his original QLP work, Flip-Flop SRQR tracks the exact singular values with "considerable fidelity". We develop singular value lower bounds and residual error upper bounds for Flip-Flop SRQR factorization. In situations where singular values of the input matrix decay relatively quickly, the low-rank approximation computed by SRQR is guaranteed to be as accurate as truncated SVD. We also perform a complexity analysis to show that for the same accuracy, Flip-Flop SRQR is faster than randomized subspace iteration for approximating the SVD, the standard method used in Matlab tensor toolbox. We also compare Flip-Flop SRQR with alternatives on two applications, tensor approximation and nuclear norm minimization, to demonstrate its efficiency and effectiveness.

연구 동기 및 목표

• 저질서 행렬 근사에 있어 QLP와 랜덤화된 SVD의 더 빠르고 더 신뢰할 수 있는 대안을 개발하기 위해.
• 스펙트럼을 드러내는 QR 인수분해를 활용하여 단일값을 높은 정밀도로 추적함으로써 저질서 근사의 높은 정확도를 보장하기 위해.
• 특히 대규모 데이터 응용 분야에서 기존 방법들(예: 랜덤화된 부분 공간 반복)보다 계산 비용을 줄이기 위해.
• 근사의 단일값 하한 및 잔차 오차 상한에 대한 이론적 보장을 제공하기 위해.
• 텐서 근사 및 노름 최소화와 같은 실제 응용 분야에서의 효과성을 입증하기 위해.

제안 방법

• Flip-Flop SRQR는 수치적 안정성과 정확한 단일값 추적을 보장하기 위해 스펙트럼을 드러내는 QR (SRQR)를 사용하여 부분 열 편향 QR 인수분해를 초기화한다.
• 그 후 SRQR 단계에서 얻은 상부 삼각행렬에 대해 부분 LQ 인수분해를 수행한다.
• 초기 QR 단계의 가속을 위해 트렁케이티드 랜덤화된 QRCP (TRQRCP)를 사용하지만, 스펙트럼을 드러내는 성질을 유지한다.
• 알고리즘은 스토운의 원래 QLP 연구에서 관찰된 바와 같이 '상당한 정밀도'로 정확한 단일값 추적을 유지하도록 설계되어 있다.
• 단일값과 잔차 오차에 대한 이론적 경계가 유도되어, 빠른 감쇠 조건 하에서 잘린 SVD와 유사한 근사 품질을 보장한다.
• 복잡도 분석 결과, Flip-Flop SRQR는 동일한 정확도에서 랜덤화된 부분 공간 반복보다 더 빠르며, 특히 단일값이 급격히 감소할 경우에 유리하다.

실험 결과

연구 질문

• RQ1 스펙트럼을 드러내는 성질을 지닌 하이브리드 QR-LQ 인수분해는 낮은 계산 비용으로 SVD와 유사한 정확도를 달성할 수 있는가?
• RQ2 Flip-Flop SRQR는 랜덤화된 부분 공간 반복 및 기타 최신 저질서 근사 방법과 비교해 정확도와 속도에서 어떻게 비교되는가?
• RQ3 Flip-Flop SRQR가 잘린 SVD와 유사한 근사 품질을 보장하는 조건은 무엇인가?
• RQ4 Flip-Flop SRQR 근사에서 단일값과 잔차 오차에 대해 수립할 수 있는 이론적 경계는 무엇인가?
• RQ5 Flip-Flop SRQR는 텐서 근사 및 노름 최소화와 같은 실질적 응용에서 얼마나 효과적인가?

주요 결과

• 단일값이 급격히 감소할 경우, Flip-Flop SRQR는 잘린 SVD와 유사한 저질서 근사 정확도를 달성한다.
• 동일한 정확도에서 랜덤화된 부분 공간 반복보다 빠른 속도를 보이며, 복잡도 분석 결과 약 (4q + 4)mn(k + p) 플롭의 비용을 가지지만, 상수 요소가 더 낮다.
• 텐서 근사에서 Flip-Flop SRQR는 최고 성능을 보인 방법(TUXV)의 상대 오차의 1.5% 이내로 도달하면서도 훨씬 더 빠른 속도를 보였다.
• 핵심 노름 최소화(행렬 완성)에서 Flip-Flop SRQR는 상대 오차 1.00e+00과 실행 시간 1.20e+03초를 기록하여 IALM-RSISVD 및 IALM-LTSVD와 유사한 성능을 보였다.
• 이론적 분석을 통해 Flip-Flop SRQR는 신뢰할 수 있는 단일값 하한 및 잔차 오차 상한을 제공함으로써 강건성을 보장한다.
• 실험 결과, Flip-Flop SRQR는 주성분 분석, 얼굴 인식, 정보 검색 등 다양한 응용 분야에서 고정밀도를 유지하면서도 계산 효율성이 향상됨을 보였다.