[논문 리뷰] Transformed Schatten-1 Iterative Thresholding Algorithms for Low Rank Matrix Completion

Shuai Zhang, Penghang Yin외 1명|arXiv (Cornell University)|2015. 06. 14.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 매개변수 $ a \in (0, \infty) $ 를 통해 랭크와 노름 노름 사이를 보간하는 비볼록 저랭크 촉진 함수인 변환된 샤텐-1(TS1) 페널티를 제안한다. 이는 전역 최소화해의 폐쇄형 임계값 함수와 고정점 표현을 유도하여, 효율적인 반복 임계값 알고리즘(TS1-s1 및 TS1-s2)을 가능하게 하며, 진짜 랭크가 알려져 있거나 추가 절차를 통해 추정되는 경우 저랭크 행렬 복원에서 최첨단 기법들을 능가한다.

ABSTRACT

We study a non-convex low-rank promoting penalty function, the transformed Schatten-1 (TS1), and its applications in matrix completion. The TS1 penalty, as a matrix quasi-norm defined on its singular values, interpolates the rank and the nuclear norm through a nonnegative parameter a. We consider the unconstrained TS1 regularized low-rank matrix recovery problem and develop a fixed point representation for its global minimizer. The TS1 thresholding functions are in closed analytical form for all parameter values. The TS1 threshold values differ in subcritical (supercritical) parameter regime where the TS1 threshold functions are continuous (discontinuous). We propose TS1 iterative thresholding algorithms and compare them with some state-of-the-art algorithms on matrix completion test problems. For problems with known rank, a fully adaptive TS1 iterative thresholding algorithm consistently performs the best under different conditions with ground truth matrix being multivariate Gaussian at varying covariance. For problems with unknown rank, TS1 algorithms with an additional rank estimation procedure approach the level of IRucL-q which is an iterative reweighted algorithm, non-convex in nature and best in performance.

연구 동기 및 목표

• 랭크와 핵노름 사이의 격차를 메우는 비볼록 저랭크 페널티를 개발하여 행렬 복원을 향상시키는 것.
• TS1-정규화된 문제의 전역 최소화해에 대한 고정점 표현과 폐쇄형 임계값 함수를 유도하는 것.
• 고정점 수식에 기반한 효율적인 반복 임계값 알고리즘(TS1-s1 및 TS1-s2)을 설계하는 것.
• 다양한 조건과 알려진/모르는 랭크 설정에서 저랭크 행렬 복구 및 이미지 인painting 성능을 평가하는 것.
• 정확도와 계산 속도 측면에서 TS1 알고리즘을 최첨단 기법들, 특히 IRucL-$ q $ 와 비교하는 것.

제안 방법

• 매개변수 $ a \in (0, \infty) $ 를 가진 행렬의 준노름으로서 변환된 샤텐-1(TS1) 페널티를 제안하며, 이는 $ a \to 0 $ 에서 랭크로, $ a \to \infty $ 에서 핵노름으로 보간된다.
• 특이값 임계값을 사용하여 비제약 조건 하의 TS1-정규화된 행렬 복원 문제의 전역 최소화해에 대한 고정점 표현을 도출한다.
• TS1 임계값 함수에 대해 분석적 폐쇄형 표현을 확립하며, $ a \leq 1 $ (임계 이하) 에서는 연속적이며 $ a > 1 $ (임계 초과) 에서는 불연속적임을 밝힌다.
• 고정점 방정식에 기반한 두 가지 반복 임계값 알고리즘—TS1-s1 및 TS1-s2—를 개발하며, 특이값에 대한 소프트-임계값 유사 업데이트를 사용한다.
• 진짜 랭크가 알려진 문제에 대해 TS1-s2에서 적응형 매개변수 선택을 구현하여 수렴성과 정확도를 향상시킨다.
• 진짜 랭크가 알려지지 않은 문제에 대해 TS1-s1에 랭크 추정 절차를 통합하여 IRucL-$ q $ 와 유사한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 랭크와 핵노름 사이를 보간하는 비볼록 페널티 함수가 볼록 대체 기법들보다 저랭크 행렬 복원 성능을 향상시킬 수 있는가?
• RQ2 모든 매개변수 값에서 TS1 페널티가 폐쇄형 임계값 함수를 제공하여 효율적인 최적화를 가능하게 하는가?
• RQ3 TS1 기반 반복 임계값 알고리즘이 정확도와 속도 측면에서 IRucL-$ q $ 와 같은 최첨단 기법들과 어떻게 비교되는가?
• RQ4 진짜 랭크가 알려졌을 때 TS1-s2의 적응형 매개변수 튜닝이 일관되게 다른 알고리즘들을 능가하는가?
• RQ5 랭크가 알려지지 않은 상황에서 TS1-s1에 랭크 추정을 통합하면 비볼록 IRucL-$ q $ 의 성능에 얼마나 가까이 다가갈 수 있는가?

주요 결과

• 진짜 랭크가 알려진 문제에서는 완전히 적응형인 TS1-s2 알고리즘이 모든 테스트 분포(Gaussian, uniform, 카이제곱)에서 가장 높은 정확도와 가장 빠른 수렴 속도를 지속적으로 달성한다.
• 랭크가 알려지지 않은 저랭크 행렬 복원 문제에서는 랭크 추정 기능을 갖춘 TS1-s1가 IRucL-$ q $ (문헌상 최고 성능의 비볼록 방법) 와 거의 유사한 성능을 보인다.
• 모든 $ a \in (0, \infty) $ 에 대해 TS1 임계값 함수는 분석적으로 폐쇄형이므로, 매개변수 영역 전반에서 효율적이고 견고한 구현이 가능하다.
• 진짜 랭크가 알려졌을 때, 특히 고랭크 및 고공분산 설정에서 TS1-s2는 모든 다른 테스트 알고리즘보다 계산 속도와 정확도에서 뛰어나다.
• 전역 최소화해의 고정점 표현은 안정적이고 수렴 가능한 반복 업데이트를 가능하게 하며, 광범위한 수치 실험으로 검증되었다.
• TS1 알고리즘의 성능은 다변수 정규분포, (0,1) 균일분포, 카이제곱 분포를 포함한 다양한 행렬 생성 모델 전반에서 강인하다.