[논문 리뷰] Accelerated and Inexact Soft-Impute for Large-Scale Matrix and Tensor Completion

Quanming Yao, James T. Kwok|arXiv (Cornell University)|2017. 03. 16.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 4

한 줄 요약

이 논문은 대규모 행렬 및 텐서 복원을 위한 가속화되고 비정확한 Soft-Impute 알고리즘을 제안하며, 효율적인 SVD 계산을 위한 '희소성 + 낮은 질서' 구조를 유지한다. 네스테로프 스타일의 가속화와 파wer 방법 기반의 근사 특이값 임계치 처리 방식을 조합함으로써, 반복 횟수 T에 대해 O(1/T²) 수준의 수렴 속도를 달성하면서도 반복당 시간 복잡도를 크게 감소시켰다. 이는 합성 및 실세계 데이터셋에서 기존 최고 수준의 방법들보다 빠른 속도와 높은 복원 정확도를 기록한다.

ABSTRACT

Matrix and tensor completion aim to recover a low-rank matrix / tensor from limited observations and have been commonly used in applications such as recommender systems and multi-relational data mining. A state-of-the-art matrix completion algorithm is Soft-Impute, which exploits the special "sparse plus low-rank" structure of the matrix iterates to allow efficient SVD in each iteration. Though Soft-Impute is a proximal algorithm, it is generally believed that acceleration destroys the special structure and is thus not useful. In this paper, we show that Soft-Impute can indeed be accelerated without comprising this structure. To further reduce the iteration time complexity, we propose an approximate singular value thresholding scheme based on the power method. Theoretical analysis shows that the proposed algorithm still enjoys the fast $O(1/T^2)$ convergence rate of accelerated proximal algorithms. We further extend the proposed algorithm to tensor completion with the scaled latent nuclear norm regularizer. We show that a similar "sparse plus low-rank" structure also exists, leading to low iteration complexity and fast $O(1/T^2)$ convergence rate. Extensive experiments demonstrate that the proposed algorithm is much faster than Soft-Impute and other state-of-the-art matrix and tensor completion algorithms.

연구 동기 및 목표

• 기존 Soft-Impute 및 가속화된 프록시멀 알고리즘의 계산 병목 현상을 해결하기 위해, 가속화 과정 중에도 '희소성 + 낮은 질서' 구조를 유지함으로써 효율적인 SVD 계산을 가능하게 하기 위해.
• 정확한 SVD를 파워 방법 기반의 근사 특이값 임계치 처리 방식으로 대체하여, 행렬 및 텐서 복원의 반복당 시간 복잡도를 감소시키기 위해.
• 스케일드 잠재 핵노름 정규화자를 활용하여 가속화된 Soft-Impute 프레임워크를 텐서 복원으로 확장함으로써, 낮은 반복 비용과 빠른 수렴을 유지하기 위해.
• 자기모형화된 낮은 질서 정규화자(예: 잘라내기 핵노름, 로그합-벌점)가 볼록 핵노름 정규화보다 더 나은 경험적 성능을 내는지 확인하기 위해.
• 대규모 실세계 데이터셋에서 제안된 알고리즘의 유효성을 실증적으로 검증하여, 기존 최고 수준의 방법들에 비해 뛰어난 속도와 정확도를 보여주기 위해.

제안 방법

• 논문은 매트릭스 반복에서 '희소성 + 낮은 질서' 구조를 유지하는 가속화된 Soft-Impute 알고리즘을 제안하여, 가속화 조건 하에서도 효율적인 SVD 계산이 가능하도록 한다.
• 파워 방법을 활용한 근사 특이값 임계치 처리(SVT) 방식을 도입하여 주요 특이값과 특이벡터를 계산함으로써, PROPACK 기반의 정확한 SVD에 비해 반복당 비용을 감소시킨다.
• 이론적 분석을 통해 정확하지 않은 SVT를 사용하더라도, 가속화된 프록시멀 방법의 O(1/T²) 수렴 속도를 유지함을 증명한다.
• 스케일드 잠재 핵노름 정규화자를 활용하여, 텐서 매트리시제이션 전후로도 유사한 '희소성 + 낮은 질서' 구조를 유지함으로써 텐서 복원으로의 확장이 가능하다.
• 자기모형화된 낮은 질서 정규화자(예: 잘라내기 핵노름, 로그합-벌점)를 프레임워크에 일반화하여, 볼록 핵노름에 비해 더 나은 경험적 성능을 내는 것으로 확인하였다.
• 모든 부드러운 볼록 손실 함수에 적용 가능한 후처리 절차를 확장함으로써, 다양한 복원 작업에 대한 유연성과 적용 가능성을 향상시켰다.

실험 결과

연구 질문

• RQ1 가속화 과정 중 '희소성 + 낮은 질서' 구조를 유지함으로써 매 반복에서 효율적인 SVD 계산이 가능한가?
• RQ2 파워 방법 기반의 근사 특이값 임계치 처리 방식을 사용할 경우, 반복당 시간 복잡도를 감소시키면서도 O(1/T²) 수렴 속도를 유지할 수 있는가?
• RQ3 스케일드 잠재 핵노름 정규화자를 사용한 텐서 복원으로 확장했을 때, 제안된 가속화되고 비정확한 Soft-Impute 방법이 빠른 수렴과 낮은 반복 비용을 유지하는가?
• RQ4 자기모형화된 낮은 질서 정규화자(예: 잘라내기 핵노름, 로그합-벌점)를 가속화된 Soft-Impute 프레임워크에 효과적으로 통합하여 볼록 핵노름 정규화보다 더 나은 경험적 성능을 낼 수 있는가?
• RQ5 대규모 실세계 데이터셋에서 제안된 알고리즘이 기존 최고 수준의 행렬 및 텐서 복원 방법들에 비해 속도와 정확도 면에서 어떻게 비교되는가?

주요 결과

• 제안된 가속화되고 비정확한 Soft-Impute 알고리즘은 파워 방법을 통한 근사 SVD를 사용함에도 불구하고 O(1/T²) 수렴 속도를 달성하여 이론적 수렴 보장을 유지한다.
• YouTuBe 데이터셋 하위 집합에서 AIS-Impute는 모드 랭크 33, 33, 0일 때 RMSE 0.616 ± 0.029를 기록하여, 정확도와 속도 면에서 GeomCG(0.672 ± 0.050)와 TMac(0.786 ± 0.027)를 모두 앞섰다.
• 전체 YouTube 데이터셋에서 AIS-Impute는 모드 랭크 70, 70, 0일 때 RMSE 0.369 ± 0.006을 기록하여, 회복 정확도 면에서 GeomCG(0.388 ± 0.001)와 TMac(0.611 ± 0.007)를 뚜렷이 앞섰다.
• 대규모 데이터에서 뛰어난 속도를 보였으며, CPU 시간 비교 결과 ADMM(overlap)과 FaLRTC는 전체 스케일 데이터셋에 대해 너무 느려서 사용이 불가능한 것으로 확인되었다.
• 자기모형화된 정규화자(예: 잘라내기 핵노름, 로그합-벌점)의 사용은 볼록 핵노름에 비해 더 나은 경험적 성능을 내었으며, 낮은 질서 근사에서의 이점이 확인되었다.
• 스케일드 잠재 핵노름 정규화자를 활용한 텐서 복원으로의 확장은 '희소성 + 낮은 질서' 구조를 성공적으로 유지하여 효율적인 계산과 텐서 환경에서의 빠른 O(1/T²) 수렴을 가능케 하였다.