[논문 리뷰] A Block Lanczos with Warm Start Technique for Accelerating Nuclear Norm Minimization Algorithms

Zhouchen Lin, Siming Wei|arXiv (Cornell University)|2010. 12. 02.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 14

한 줄 요약

이 논문은 블록 랑츠 방법의 웜 스타트를 활용한 블록 랑츠 웜 스타트(BLWS) 기법을 제안하여, 부분 특이값 분해(SVD) 계산을 위한 초기화에 이전 반복에서 구한 주요 특이값 하위공간을 재사용함으로써 핵노름 최소화(NUC) 알고리즘의 계산 속도를 향상시킨다. 랑츠 단계 수를 제한하고 웜 스타트를 활용함으로써 SVD 계산 비용을 줄였으며, 정확도를 유지하면서도 로버스트 PCA 및 행렬 완성 작업에서 표준 방법 대비 2–3배의 속도 향상을 달성하였다.

ABSTRACT

Recent years have witnessed the popularity of using rank minimization as a regularizer for various signal processing and machine learning problems. As rank minimization problems are often converted to nuclear norm minimization (NNM) problems, they have to be solved iteratively and each iteration requires computing a singular value decomposition (SVD). Therefore, their solution suffers from the high computation cost of multiple SVDs. To relieve this issue, we propose using the block Lanczos method to compute the partial SVDs, where the principal singular subspaces obtained in the previous iteration are used to start the block Lanczos procedure. To avoid the expensive reorthogonalization in the Lanczos procedure, the block Lanczos procedure is performed for only a few steps. Our block Lanczos with warm start (BLWS) technique can be adopted by different algorithms that solve NNM problems. We present numerical results on applying BLWS to Robust PCA and Matrix Completion problems. Experimental results show that our BLWS technique usually accelerates its host algorithm by at least two to three times.

연구 동기 및 목표

• 핵노름 최소화(NUC) 알고리즘에서 반복적인 특이값 분해(SVD)로 인한 높은 계산 비용을 줄이기 위해.
• 로버스트 PCA 및 행렬 완성과 같은 NUC 기반 알고리즘의 효율성을 향상시키기 위해 부분 SVD 계산의 효율성을 개선하기 위해.
• 이전 반복 간의 시간적 상관관계를 활용하여 이전 단계에서 구한 특이값 하위공간을 초기 추측값으로 재사용하기 위해.
• 기본 논리에 영향을 주지 않고 다양한 NUC 솔버에 적용 가능한 일반적인 가속 기법을 개발하기 위해.

제안 방법

• 부분 SVD 계산에 블록 랑츠 방법을 적용하여 임계값 이상의 특이값에만 집중한다.
• 이전 반복에서 구한 주요 특이값 하위공간을 현재 블록 랑츠 절차의 웜 스타트로 사용한다.
• 재정규화 비용을 피하기 위해 랑츠 단계 수를 제한하면서도 정확도를 유지한다.
• 로버스트 PCA의 ADM 및 행렬 완성의 SVT와 같은 기존 NUC 솔버에 BLWS를 통합한다.
• 부분 SVD 이후 각 반복에서 특이값 소프트 스트리핑(이완)을 사용해 해를 계산한다.
• 런타임을 단축시키면서도 기준 방법과 동일한 수렴 행동과 해 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 이전 반복에서 구한 특이값 하위공간을 재사용하는 것이 NUC 알고리즘에서 부분 SVD 계산 비용을 크게 줄일 수 있는가?
• RQ2 웜 스타트를 활용한 블록 랑츠 방법은 로버스트 PCA 및 행렬 완성의 가속화에 얼마나 효과적인가?
• RQ3 BLWS 기법은 상당한 속도 향상을 달성하면서도 해의 정확도를 유지하는가?
• RQ4 랑츠 단계 수를 제한하는 것이 수렴성과 수치적 안정성에 어떤 영향을 미치는가?

주요 결과

• BLWS-ADM는 표준 ADM 대비 로버스트 PCA에서 2.0배에서 3.0배의 속도 향상을 달성하여, m=3000일 때 런타임을 477.13초에서 149.19초로 감소시켰다.
• BLWS-SVT는 행렬 완성의 런타임을 2.5배에서 3.0배로 감소시켰으며, 예를 들어 m=10000, 질량 100일 때 1783.26초에서 1175.91초로 감소시켰다.
• 반복 수는 거의 변화하지 않아 BLWS가 수렴 행동에 영향을 주지 않았음을 나타낸다.
• 낮은 질량 행렬 복구의 상대 오차는 1.75e-4 이내를 유지하여 해의 정확도에 손실가 없음을 보여주었다.
• 다양한 행렬 크기와 문제 설정(다른 질량 및 샘플링 비율 포함)에서도 일관된 속도 향상을 달성하였다.