[논문 리뷰] Double Weighted Truncated Nuclear Norm Regularization for Low-Rank Matrix Completion

Shengke Xue, Wenyuan Qiu외 2명|arXiv (Cornell University)|2019. 01. 07.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 11

한 줄 요약

이 논문은 관측된 요소 밀도에 기반하여 행 및 열별 가중치를 할당하고, 반복적 해법 대신 일단의 경사 하강 업데이트를 사용함으로써 수렴 속도를 향상시키는 새로운 행렬 완성 방법인 더블 웨이트드 트렁케이티드 노름 노름 정규화(DW-TNNR)를 제안한다. 기존의 TNNR에 비해 수렴 속도가 빠르고 랭크 추정 오차에 더 강건하며, 시각적 데이터 세트에서의 실험 결과로 우수한 속도와 정확도를 입증하였다.

ABSTRACT

Matrix completion focuses on recovering a matrix from a small subset of its observed elements, and has already gained cumulative attention in computer vision. Many previous approaches formulate this issue as a low-rank matrix approximation problem. Recently, a truncated nuclear norm has been presented as a surrogate of traditional nuclear norm, for better estimation to the rank of a matrix. The truncated nuclear norm regularization (TNNR) method is applicable in real-world scenarios. However, it is sensitive to the selection of the number of truncated singular values and requires numerous iterations to converge. Hereby, this paper proposes a revised approach called the double weighted truncated nuclear norm regularization (DW-TNNR), which assigns different weights to the rows and columns of a matrix separately, to accelerate the convergence with acceptable performance. The DW-TNNR is more robust to the number of truncated singular values than the TNNR. Instead of the iterative updating scheme in the second step of TNNR, this paper devises an efficient strategy that uses a gradient descent manner in a concise form, with a theoretical guarantee in optimization. Sufficient experiments conducted on real visual data prove that DW-TNNR has promising performance and holds the superiority in both speed and accuracy for matrix completion.

연구 동기 및 목표

• 낮은 랭크 행렬 완성에 대한 절단된 노름 노름 정규화(TNNR)에서의 느린 수렴 속도와 랭크 매개변수 $ r $ 에 대한 민감성 문제를 해결하기 위해.
• 관측된 요소의 밀도가 높은 행과 열에 있는 누락된 요소의 복구를 우선시하여 행렬 완성 속도를 높이기 위해.
• TNNR의 반복적 하위문제 해법을 효율성 향상을 위해 닫힌 형태의 경사 하강 업데이트로 대체하기 위해.
• 실제 시각적 데이터에서 실용적 성능 향상을 이루는 동시에 이론적 수렴 보장을 확보하기 위해.

제안 방법

• 각 차원의 관측된 요소 수에 기반하여 행과 열에 별도의 가중치를 할당함으로써 이중 가중치를 도입한다.
• TNNR의 두 번째 단계에서 하위문제를 해결하기 위해 반복적 방법(예: ADMM 또는 APGL) 대신 일단의 경사 하강 업데이트를 적용한다.
• 효율적인 최적화를 위해 닫힌 형태의 업데이트 규칙 $ \mathbf{X}_{k+1} = \mathbf{X}_k - \frac{1}{\alpha_k} \mathbf{P}^{-2}(\mathbf{A}_k^T\mathbf{B}_k - \mathbf{C}_k^T\mathbf{D}_k)\mathbf{Q}^{-2} $ 를 유도한다.
• 수렴을 보장하기 위해 증가하는 $ \mu_t $ 를 사용하는 선 탐색 전략을 적용하며, 적절한 단계 크기 제어 하에 국소 수렴을 이론적으로 증명한다.
• 핵심 노름 최소화 과정에 가중치 체계를 통합하여 복구가 더 쉬운 요소들을 우선 처리한다.
• 허용 오차 $ \varepsilon $ 를 기반으로 정지 조건을 제어하기 위해 스케일된 $ \alpha_k = \rho \alpha_{k-1} $ 전략을 사용한다.

실험 결과

연구 질문

• RQ1 행 및 열별 가중치는 낮은 랭크 행렬 완성에서 수렴 속도 향상에 기여하는가?
• RQ2 반복적 하위문제 해법을 일단의 경사 하강 업데이트로 대체할 경우 정확도 유지 또는 향상이 가능한가?
• RQ3 제안된 방법은 절단된 특이값 수 $ r $ 의 선택에 대해 얼마나 강건한가?
• RQ4 이론적 수렴 보장과 함께 더 빠른 수렴을 달성할 수 있는가?
• RQ5 실제 시각적 데이터에서 TNNR에 비해 가중치 체계가 성능 향상에 기여하는가?

주요 결과

• DW-TNNR는 ADMM나 APGL와 같은 반복적 해법 대신 일단의 경사 하강 업데이트를 사용함으로써 TNNR보다 더 빠른 수렴 속도를 달성한다.
• 제안된 방법은 절단된 특이값 수 $ r $ 의 선택에 대해 TNNR보다 더 강건하다.
• 실제 시각적 데이터에 대한 실험 결과, DW-TNNR는 재구성 정확도와 계산 속도 양면에서 TNNR를 능가한다.
• 이론적 분석을 통해 적절한 단계 크기 제어 하에 제안된 경사 하강 업데이트 방식이 국소 수렴을 보임을 확인하였다.
• $ \alpha_k $ 와 허용 오차 $ \varepsilon $ 를 기반으로 한 정지 조건은 유한한 반복 수 내에서 수렴을 보장한다.
• 관측된 요소의 밀도가 높은 행과 열에 있는 누락된 요소를 우선 처리함으로써 성능 향상을 이끌어내며, 더 쉽게 복구 가능한 구성 요소를 조기에 복구할 수 있다.