[논문 리뷰] Fast Low-Rank Matrix Learning with Nonconvex Regularization

Quanming Yao, James T. Kwok외 1명|arXiv (Cornell University)|2015. 12. 03.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 17

한 줄 요약

이 논문은 비볼록 저질서 행렬 학습을 위한 빠른 알고리즘인 FaNCL을 제안한다. 이는 특이값 임계처리와 거듭제곱 방법을 활용해 축소된 부분공간에서 프록시 옵저버를 효율적으로 계산함으로써, 프록시 그래디언트 방법의 계산을 가속화한다. 이 방법은 최신 솔버보다 10배 이상 빠른 속도를 기록하면서 복구 정확도를 향상시키고, 핵 노름 정규화보다 더 낮은 질서의 해를 생성한다.

ABSTRACT

Low-rank modeling has a lot of important applications in machine learning, computer vision and social network analysis. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better recovery performance. However, the resultant optimization problem is much more challenging. A very recent state-of-the-art is based on the proximal gradient algorithm. However, it requires an expensive full SVD in each proximal step. In this paper, we show that for many commonly-used nonconvex low-rank regularizers, a cutoff can be derived to automatically threshold the singular values obtained from the proximal operator. This allows the use of power method to approximate the SVD efficiently. Besides, the proximal operator can be reduced to that of a much smaller matrix projected onto this leading subspace. Convergence, with a rate of O(1/T) where T is the number of iterations, can be guaranteed. Extensive experiments are performed on matrix completion and robust principal component analysis. The proposed method achieves significant speedup over the state-of-the-art. Moreover, the matrix solution obtained is more accurate and has a lower rank than that of the traditional nuclear norm regularizer.

연구 동기 및 목표

• 비볼록 저질서 행렬 최적화를 위한 프록시 그래디언트 방법에서 전체 특이값 분해(SVD)의 높은 계산 비용을 해결하기 위해.
• 볼록 핵 노름 정규화에 비해 복구 정확도를 향상시키고 더 낮은 질서의 해를 제공하기 위해.
• 일반적으로 사용되는 비볼록 정규화 항에 대한 구조를 활용해, 비용이 많이 드는 전체 SVD를 피하는 효율적인 알고리즘을 개발하기 위해.
• 행렬 완성 문제에서 흔히 나타나는 '희소성 + 저질서' 구조를 활용해 계산을 추가로 가속화하기 위해.
• O(1/T) 수렴 속도로 임계점을 수렴함을 보장하기 위해.

제안 방법

• 캡처드-ℓ1, LSP, TNN, SCAD, MCP와 같은 일반적인 비볼록 정규화 항에 대해, 프록시 옵저버에서 작은 특이값을 자동으로 제거하는 새로운 임계처리 규칙을 제안한다.
• 거듭제곱 방법을 사용해 전체 SVD 계산을 피하고 주요 특이 부분공간만 효율적으로 계산한다.
• 프록시 옵저버 계산을 주요 부분공간에 투영된 더 작은 행렬로 축소함으로써 계산 비용을 크게 감소시킨다.
• 행렬 완성 문제에서의 '희소성 + 저질서' 구조를 활용해, 현재 반복값과 관측된 요소 간의 차이에서 희소성을 이용해 업데이트를 추가로 가속화한다.
• 백트래킹 선 탐색을 적용한 프록시 그래디언트 하강법을 사용하여, O(1/T) 수렴 속도로 임계점에 수렴함을 보장한다.
• 이러한 구성 요소들을 통합하여, 이론적 보장을 유지하면서도 높은 효율성을 달성하는 통합 알고리즘 FaNCL을 개발한다.

실험 결과

연구 질문

• RQ1 일반적인 비볼록 정규화 항에 대해 특이값에 대한 임계처리 규칙을 식별함으로써, 비볼록 저질서 행렬 학습을 위한 프록시 그래디언트 방법에서 전체 SVD를 피할 수 있는가?
• RQ2 거듭제곱 방법을 효과적으로 활용해 주요 특이 부분공간을 효율적으로 근사함으로써, 프록시 옵저버 계산을 더 빠르게 수행할 수 있는가?
• RQ3 프록시 옵저버 계산을 더 작은 투영된 행렬로 축소하면 정확도를 희생시키지 않고 런타임을 크게 향상시킬 수 있는가?
• RQ4 행렬 완성 문제에서의 '희소성 + 저질서' 구조를 활용해 알고리즘의 계산 속도를 추가로 가속화할 수 있는가?
• RQ5 제안된 방법은 핵 노름 정규화보다 더 높은 복구 정확도와 더 낮은 질서의 해를 제공하면서도, 상당히 더 빠른 속도를 달성하는가?

주요 결과

• 비디오 배경 제거 작업에서 FaNCL은 최신 기술인 GPG 솔버 대비 10배 이상 빠른 속도를 기록했으며, bootstrap 비디오에서 각각 68.3초 대비 1571.2초 소요.
• 행렬 완성 문제에서 FaNCL은 캡처드-ℓ1 정규화 시 CPU 시간을 GPG의 1009.3초에서 60.4초로 감소시켰고, 동일한 100% 희소 지원 복구를 달성했다.
• 모든 비볼록 정규화 항에 대해 FaNCL은 핵 노름 정규화보다 더 낮은 NMSE를 기록했으며, LSP의 경우 0.0029, TNN의 경우 0.0033를 기록한 반면 핵 노름 정규화는 0.0041이었다.
• 비디오 노이즈 제거 작업에서 FaNCL은 핵 노름 정규화보다 더 높은 PSNR(bootstrap에서 25.08 dB 대비 23.01 dB)를 기록했고, 계산 시간은 10배 가까이 단축되었다.
• 알고리즘은 O(1/T) 수렴 속도로 임계점에 수렴하였으며, 프록시 그래디언트 방법의 이론적 보장과 일치했다.
• 제안된 방법은 핵 노름 정규화보다 더 낮은 질서의 해를 생성하여, 저질서 근사의 품질 향상을 입증했다.