[논문 리뷰] Tractable and Scalable Schatten Quasi-Norm Approximations for Rank Minimization

Fanhua Shang, Yuanyuan Liu외 1명|arXiv (Cornell University)|2018. 02. 27.

Sparse and Compressive Sensing Techniques인용 수 30

한 줄 요약

이 논문은 수학적으로 슈바른-1/2 및 슈바른-1/3 준노름과 각각 동치인 두 가지 다루기 쉬운 슈바른 준노름 근사법—이트레이스(Bi-tr) 및 삼트레이스(Tri-tr)—를 제안한다. 이러한 노름을 사용하여 저질서 행렬 복원 문제를 재구성함으로써, 전체 데이터 행렬 대신 요인 행렬에서의 더 작은 스케일의 특이값 분해(SVD)를 통해 계산 비용을 줄일 수 있으며, 수렴 보장이 있는 효율적인 선형화된 교대 최소화 알고리즘을 설계할 수 있다. 이는 기존 최고 수준의 방법들에 비해 대규모 행렬 완성 및 RPCA 작업에서 뛰어난 확장성과 함께 빠른 성능을 발휘한다.

ABSTRACT

The Schatten quasi-norm was introduced to bridge the gap between the trace norm and rank function. However, existing algorithms are too slow or even impractical for large-scale problems. Motivated by the equivalence relation between the trace norm and its bilinear spectral penalty, we define two tractable Schatten norms, i.e.\\ the bi-trace and tri-trace norms, and prove that they are in essence the Schatten-$1/2$ and $1/3$ quasi-norms, respectively. By applying the two defined Schatten quasi-norms to various rank minimization problems such as MC and RPCA, we only need to solve much smaller factor matrices. We design two efficient linearized alternating minimization algorithms to solve our problems and establish that each bounded sequence generated by our algorithms converges to a critical point. We also provide the restricted strong convexity (RSC) based and MC error bounds for our algorithms. Our experimental results verified both the efficiency and effectiveness of our algorithms compared with the state-of-the-art methods.

연구 동기 및 목표

• 기존의 슈바른 준노름 최소화 알고리즘이 각 반복마다 전체 SVD를 사용함으로써 발생하는 높은 계산 비용을 해결하기 위해.
• 비볼록인 슈바른-1/2 및 슈바른-1/3 준노름에 대한 다루기 쉬우며 확장 가능한 대체 방법을 저질서 행렬 복원을 위해 개발하기 위해.
• 큰 규모의 SVD를 피하고 더 작은 계산으로 대체할 수 있는 행렬 분해 기반의 재구성 방법을 수립하기 위해.
• 제안된 공식화를 위한 수렴 보장이 있는 효율적인 선형화된 교대 최소화 알고리즘을 설계하기 위해.
• 제안된 알고리즘에 대해 이론적 오차 경계를 제공하고, 대규모 행렬 완성 및 강건한 주성분 분석(RPCA) 작업에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 수학적으로 슈바른-1/2 및 슈바른-1/3 준노름과 각각 동치인 두 가지 새로운 노름—이트레이스(Bi-tr) 및 삼트레이스(Tri-tr)—를 정의한다.
• 행렬 분해를 통해 Bi-tr 및 Tri-tr 노름 최소화가 슈바른-1/2 및 슈바른-1/3 준노름 최소화와 동치임을 증명한다.
• 요인 행렬을 사용하여 저질서 복원 문제를 재구성함으로써 전체 데이터 행렬 대신 더 작은 행렬에서의 SVD 계산으로 줄인다.
• Bi-tr 및 Tri-tr 공식화를 해결하기 위한 두 가지 선형화된 교대 최소화 알고리즘을 설계하였으며, 임계점으로의 수렴이 보장된다.
• 알고리즘 성능 분석을 위해 제한된 강력한 볼록성(RSC) 기반 및 행렬 완성(MC) 오차 경계를 도입한다.
• 합성 및 실세계 추천 데이터셋에서 표준 기준 알고리즘인 IRLS, IRNN, LRMF, LMaFit와의 비교를 위해 알고리즘을 구현하고 비교한다.

실험 결과

연구 질문

• RQ1 전체 노름의 비용이 높은 비볼록 대체 방법을 개발하여 랭크 함수를 더 정확히 근사하면서도 금지적인 계산 비용을 초래하지 않을 수 있는가?
• RQ2 큰 행렬에서 전체 SVD를 피할 수 있는 슈바른-1/2 및 슈바른-1/3 준노름에 대한 행렬 분해 기반 동치 공식화가 존재하는가?
• RQ3 이러한 새로운 공식화를 위한 효율적이고 수렴 보장이 되는 알고리즘을 설계하여 대규모 문제인 행렬 완성 및 RPCA에 확장 가능하게 할 수 있는가?
• RQ4 합성 및 실세계 데이터에서 제안된 Bi-tr 및 Tri-tr 방법이 IRLS, IRNN, LRMF와 같은 최고 수준의 방법들보다 정확도와 속도에서 어떻게 비교되는가?
• RQ5 제안된 알고리즘에 대해 수렴성 및 오차 경계와 같은 이론적 보장을 확보할 수 있는가?

주요 결과

• Bi-tr 및 Tri-tr 노름은 각각 슈바른-1/2 및 슈바른-1/3 준노름과 수학적으로 동치이며, 정확한 저질서 근사가 가능하다.
• 제안된 알고리즘은 IRLS 및 IRNN보다 훨씬 더 빠른 수렴 속도와 낮은 실행 시간을 달성하였으며, 특히 50,000×50,000 크기의 큰 행렬에서는 IRLS 및 IRNN이 48시간 이내에 완료되지 못한 반면, 본 알고리즘이 성공적으로 처리하였다.
• 200×200 크기의 노이즈가 섞인 합성 행렬에서 Bi-tr 및 Tri-tr 방법은 NNLS, ALT, LRMF, LMaFit보다 낮은 RSE(재구성 제곱오차 합)를 달성하였고, IRLS 및 IRNN 성능을 따라하거나 초월하였다.
• 실세계 추천 데이터셋(MovieLens1M에서 Netflix까지)에서 제안된 방법은 LMaFit를 제외한 모든 기준보다 빠르며, 상당히 낮은 RMSE를 달성하여 뛰어난 정확도와 확장성을 입증하였다.
• 이론적 분석을 통해 알고리즘에 의해 생성된 유계 수열이 임계점으로 수렴하며, RSC 기반 및 MC 오차 경계가 확립되어 강건한 복원 보장을 뒷받침한다.
• 정규화 파라미터 μ는 이전 연구와 동일하게 √max(m,n)로 설정되었으며, 합성 데이터의 경우 주어진 랭크 d는 ⌊1.25r⌋로 설정되었고, 실세계 데이터셋의 경우 50로 설정되어 공정한 비교가 가능하도록 하였다.