[논문 리뷰] Calibrated Elastic Regularization in Matrix Completion

Tingni Sun, Cun‐Hui Zhang|arXiv (Cornell University)|2012. 11. 09.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 15

한 줄 요약

이 논문은 핵자기 및 프로베니우스 노름 페널티를 조합하여 소음 수준에 비례하는 거의 최적의 오차 경계를 달성하는 校정된 스펙트럼 엘라스틱넷 방법을 제안한다. 이 방법은 반복적인 EM 유사 알고리즘을 사용하여 누락된 항목을 보간하고 소프트 스레시홀딩 SVD를 적용하며, 프로베니우스 페널티로 인한 편향을 校정하는 단계를 거쳐, 일관성 조건 하에서 소음이 있는 및 소음이 없는 설정 모두에서 최적의 성능을 보장한다.

ABSTRACT

This paper concerns the problem of matrix completion, which is to estimate a matrix from observations in a small subset of indices. We propose a calibrated spectrum elastic net method with a sum of the nuclear and Frobenius penalties and develop an iterative algorithm to solve the convex minimization problem. The iterative algorithm alternates between imputing the missing entries in the incomplete matrix by the current guess and estimating the matrix by a scaled soft-thresholding singular value decomposition of the imputed matrix until the resulting matrix converges. A calibration step follows to correct the bias caused by the Frobenius penalty. Under proper coherence conditions and for suitable penalties levels, we prove that the proposed estimator achieves an error bound of nearly optimal order and in proportion to the noise level. This provides a unified analysis of the noisy and noiseless matrix completion problems. Simulation results are presented to compare our proposal with previous ones.

연구 동기 및 목표

• 소음 수준에 비례하는 거의 최적의 오차 경계를 달성하는 행렬 완성 방법을 개발하는 것.
• 엘라스틱넷 정규화에서 프로베니우스 페널티로 인한 편향을 보정하는 캘리브레이션 단계를 제안하는 것.
• 저랭크 및 일관성 가정 하에서 행렬 완성의 통합 분석 프레임워크를 제공하는 것.
• 스펙트럼 라소 및 비볼록 재귀 알고리즘과 같은 기존 방법들보다 오차율과 고랭크 또는 비균형 행렬에 대한 적용 가능성을 향상시키는 것.

제안 방법

• 핵자기 노름과 프로베니우스 노름 페널티를 조합한 스펙트럼 엘라스틱넷 추정기를 제안하여 저랭크 구조를 촉진하고 이차 손실을 안정화한다.
• 현재 추정치를 사용하여 누락된 항목을 보간하고, 보간된 행렬에 대해 스케일된 소프트 스레시홀딩 SVD를 적용하는 반복 알고리즘을 개발한다.
• 프로베니우스 페널티로 인한 수축 편향을 보정하기 위해 캘리브레이션 단계를 도입하며, 최종 추정치를 $ (1 + rac{ ilde{ heta}}{ ilde{ heta}}) $ 로 스케일링한다.
• 볼록 최적화 문제를 해결하기 위해 EM 유사 알고리즘 프레임워크를 사용하여 스펙트럼 엘라스틱넷의 페널티 목적함수의 전역 최소화점으로 수렴함을 보장한다.
• 오차 경계를 유도하기 위해 투영 연산자 $ { m P}_T $, $ { m P}_T^ot $ 및 스펙트럼 노름 부등식과 같은 이론적 도구를 활용한다.
• 샘플링 연산자의 행동을 제어하고 안정적인 복원을 보장하기 위해 행렬과 그 특이벡터에 대한 일관성 조건을 적용한다.

실험 결과

연구 질문

• RQ1 소음이 진짜 행렬 $ \Theta $ 의 $ \ell_\infty $ 노름보다 작을 때조차도, 볼록 행렬 완성 방법이 소음 수준에 비례하는 오차 경계를 달성할 수 있는가?
• RQ2 엘라스틱넷 정규화에서 프로베니우스 페널티로 인한 편향은 어떻게 보정할 수 있는가?
• RQ3 제안된 반복 알고리즘이 스펙트럼 엘라스틱넷의 페널티 목적함수의 최적 해로 수렴하는가?
• RQ4 단일 프레임워크 내에서 소음이 있는 및 소음이 없는 행렬 완성의 분석을 통합할 수 있는가?

주요 결과

• 캘리브레이션된 스펙트럼 엘라스틱넷 추정기는 순서 $ \tilde{r} \lambda_1^2 / \pi_0^2 $ 의 프로베니우스 노름 오차 경계를 달성하며, 이는 거의 최적이며 소음 수준에 비례한다.
• 소음 수준이 진짜 행렬 $ \Theta $ 의 $ \ell_\infty $ 노름보다 작을 때, [7] 및 [9]보다 더 날카로운 오차 경계를 제공한다.
• $ d_2/d_1 $ 가 클 경우에도 오차 경계는 여전히 최적이며, 이러한 영역에서 [6]보다 뛰어난 성능을 보인다.
• 반복 알고리즘은 스펙트럼 엘라스틱넷으로 정의된 볼록 최소화 문제의 해로 수렴함이 보장된다.
• 시뮬레이션 결과는 캘리브레이션된 추정기가 스펙트럼 라소와 유사한 성능을 보이며, 저소음 영역에서 다른 방법들보다 뛰어나다는 것을 보여준다.
• 캘리브레이션 단계는 프로베니우스 페널티로 인한 편향을 효과적으로 보정하여 추정기의 일致성과 유한표본 성능을 향상시킨다.