[논문 리뷰] Large-Scale Low-Rank Matrix Learning with Nonconvex Regularizers

Quanming Yao, James T. Kwok외 2명|arXiv (Cornell University)|2017. 08. 01.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 8

한 줄 요약

이 논문은 비볼록 정규화를 사용하는 대규모 저질서 행렬 학습을 위한 빠른 프록시멀 알고리즘인 FaNCL을 제안한다. 프록시멀 연산자에서의 임계값 설정을 활용하고, 이를 거듭제곱 방법을 통해 근사화함으로써 FaNCL은 비정확한 단계를 동반하더라도 O(1/T) 수렴 속도를 달성한다. 가속화된 변형(FaNCL-acc)과 병렬화 기능을 통해 거의 선형적인 속도 향상이 가능하며, 행렬 완성 및 RPCA 작업에서 최신 기술보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Low-rank modeling has many important applications in computer vision and machine learning. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better empirical performance. However, the resulting optimization problem is much more challenging. Recent state-of-the-art requires an expensive full SVD in each iteration. In this paper, we show that for many commonly-used nonconvex low-rank regularizers, a cutoff can be derived to automatically threshold the singular values obtained from the proximal operator. This allows such operator being efficiently approximated by power method. Based on it, we develop a proximal gradient algorithm (and its accelerated variant) with inexact proximal splitting and prove that a convergence rate of O(1/T) where T is the number of iterations is guaranteed. Furthermore, we show the proposed algorithm can be well parallelized, which achieves nearly linear speedup w.r.t the number of threads. Extensive experiments are performed on matrix completion and robust principal component analysis, which shows a significant speedup over the state-of-the-art. Moreover, the matrix solution obtained is more accurate and has a lower rank than that of the nuclear norm regularizer.

연구 동기 및 목표

• 각 반복에서 전체 특이값 분해(SVD)를 요구하는 기존 비볼록 저질서 최적화 방법의 계산 비효율성을 해결하기 위해.
• 고차원 행렬을 다룰 때 비볼록 저질서 문제를 효율적인 프록시멀 업데이트로 해결하기 위해.
• 행렬 완성 및 강건 PCA와 같은 대규모 응용 분야에 적합한 빠르고 확장 가능한 알고리즘을 개발하기 위해.
• 다중 코어 아키텍처를 활용해 스레드 수 증가에 따라 거의 선형적인 속도 향상을 달성할 수 있도록 알고리즘을 병렬화하기 위해.

제안 방법

• 일반적인 비볼록 정규화(예: 캡처된-ℓ1, LSP, TNN, SCAD, MCP)에 적합한 프록시멀 연산자에서 특이값의 자동 임계값 설정을 활용하는 새로운 프록시멀 알고리즘 FaNCL을 제안한다.
• 주어진 행렬의 주요 부분공간에 대해 거듭제곱 방법을 적용하여 프록시멀 연산자를 근사함으로써, 더 작은 저질서 근사에서 작동함으로써 계산 비용을 감소시킨다.
• 통제된 오차를 가진 비정확한 프록시멀 단계를 도입하여, 반복 간 제곱 거리 기준으로 O(1/T) 수렴을 보장한다.
• Nesterov 스타일의 운동량을 사용하여 수렴 속도를 향상시키는 가속화된 변형인 FaNCL-acc를 개발한다.
• 행렬을 분할하고 복수의 스레드에서 부분행렬을 처리함으로써 병렬화된 FaNCL 버전을 설계하여 거의 선형적인 속도 향상을 달성한다.
• 희소성과 저질서의 조합을 활용하여 행렬 완성에 적합하게 알고리즘을 변형하고, 두 개의 매개변수 블록을 사용해 RPCA로 확장한다.

실험 결과

연구 질문

• RQ1 전체 SVD 계산 없이도 비볼록 저질서 정규화를 위한 프록시멀 연산자를 효율적으로 근사화할 수 있는가?
• RQ2 통제된 오차를 가진 비정확한 프록시멀 단계가 비볼록 저질서 최적화에서 여전히 수렴을 보장할 수 있는가?
• RQ3 스레드 수 증가에 따라 성능을 유지하면서 알고리즘을 효과적으로 병렬화할 수 있는가?
• RQ4 행렬 완성 및 RPCA 작업에서 최신 기술 대비 속도와 복원 정확도 측면에서 제안된 방법이 뛰어나게 성능을 발휘하는가?
• RQ5 대규모 환경에서 비볼록 정규화의 사용이 볼록 핵심 노름보다 더 나은 복원 성능을 낼 수 있는가?

주요 결과

• FaNCL은 비정확한 프록시멀 단계를 동반하더라도 반복 간 제곱 거리 기준으로 O(1/T) 수렴 속도를 달성한다.
• FaNCL-acc는 최신 기술인 GPG보다 뚜렷이 빠른 수렴 속도를 보이며, 12개 코어에서 넷플릭스 데이터셋에서 CPU 시간을 203초에서 49초로 감소시킨다.
• 병렬화된 FaNCL 구현은 거의 선형적인 속도 향상을 달성했으며, 캐시 효율성 향상과 로드 밸런싱 개선으로 인해 야후 데이터셋에서 속도 향상이 1을 초과한다.
• 영상 행렬 완성 작업에서 FaNCL-acc는 GPG보다 더 빠르게 더 높은 PSNR(25.25 ± 0.06)를 달성했으며, 캠퍼스 데이터셋에서 소요 시간은 148초 대비 4709초로 훨씬 줄었다.
• 모든 영상 데이터셋에서 비볼록 정규화(LSP, TNN 등)가 볼록 핵심 노름보다 PSNR 측면에서 일관되게 뛰어난 성능을 보이며, 그 우수한 경험적 복원 성능을 확인한다.
• 주요 부분공간에 대한 거듭제곱 방법 근사는 효율적인 계산을 가능하게 하며, 효과적인 행렬 크기를 줄이고 각 반복에서 전체 SVD를 피할 수 있도록 한다.