[논문 리뷰] Selecting thresholding and shrinking parameters with generalized SURE for low rank matrix estimation

Julie Josse, Sylvain Sardy|arXiv (Cornell University)|2013. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 노이즈 분산 지식이 필요 없이 최적의 임계값 설정 및 수축 파ameter를 자동으로 선택할 수 있도록 데이터 기반 일반화된 스티븐 무एस티드 리스크 추정(SURE) 기준을 사용하는 저질서 행렬 추정을 위한 일반화된 임계값 설정 및 수축 프레임워크를 제안한다. 이는 하드 및 소프트 임계값 설정을 통합한다. 제안된 방법은 기존 방법들과 비교해 평균 제곱 오차 및 질서 추정에서 뛰어난 성능을 달성한다.

ABSTRACT

To estimate a low rank matrix from noisy observations, truncated singular value decomposition has been extensively used and studied: empirical singular values are hard thresholded and empirical singular vectors remain untouched. Recent estimators not only truncate but also shrink the singular values. In the same vein, we propose a continuum of thresholding and shrinking functions that encompasses hard and soft thresholding. To avoid an unstable and costly cross-validation search of their thresholding and shrinking parameters, we propose new rules to select these two regularization parameters from the data. In particular we propose a generalized Stein unbiased risk estimation criterion that does not require knowledge of the variance of the noise and that is computationally fast. In addition, it automatically selects the rank of the matrix. A Monte Carlo simulation reveals that our estimator outperforms the tested methods in terms of mean squared error and rank estimation.

연구 동기 및 목표

• 단순히 하드 임계값 설정만을 수행하는 전통적인 절삭된 특이값 분해(TSVD)의 한계를 해결하기 위해.
• 하드 및 소프트 임계값 설정을 일반화하는 탄력적인 임계값 설정 및 수축 함수의 가족을 개발하기 위해.
• 임계값 설정 및 수축의 정규화 파ameter를 선택하기 위해 계산 비용이 많이 드는 교차 검증이 필요 없도록 하기 위해.
• 노이즈 분산에 대한 사전 지식이 없이도 작동하는 일반화된 SURE 기준을 제안하기 위해.
• 데이터로부터 최적의 저질서 구조(즉, 행렬 질서)를 자동으로 선택하기 위해.

제안 방법

• 조정 가능한 파ameter를 통해 하드 및 소프트 임계값 설정 사이를 보간하는 연속적인 임계값 설정 및 수축 함수의 연속체를 제안한다.
• 알 수 없는 노이즈 분산을 고려한 저질서 행렬 추정에 특화된 일반화된 스티븐 무एस티드 리스크 추정(SURE) 기준을 도입한다.
• 일반화된 SURE 기준을 사용하여 데이터로부터 직접 추정기의 리스크를 추정함으로써, 임계값 설정 및 수축 파ameter의 데이터 기반 선택을 가능하게 한다.
• SURE 기반 리스크 추정기를 사용하여 최적의 임계값 수준과 수축 강도를 동시에 선택한다.
• 일반화된 SURE 기준을 최소화하여 추정된 행렬의 효과적 질서를 자동으로 결정한다.
• 노이즈가 있는 관측치의 특이값 분해(SVD)를 활용하면서도 반복적 교차 검증을 피하는 계산적으로 효율적인 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 임계값 설정 및 수축 함수의 통합 프레임워크가 표준 하드 또는 소프트 임계값 설정을 넘어서 저질서 행렬 추정 성능을 향상시킬 수 있는가?
• RQ2 노이즈 분산 지식이 없이도 신뢰할 수 있는 파ameter 선택이 가능한 일반화된 SURE 기준을 구성할 수 있는가?
• RQ3 제안된 방법이 기존의 임계값 설정 및 수축 추정기보다 더 낮은 평균 제곱 오차(MSE) 성능을 달성하는가?
• RQ4 사전 지식이나 교차 검증 없이도 최적의 행렬 질서를 자동으로 선택할 수 있는가?
• RQ5 제안된 추정기의 질서 추정 정확도는 어떻게 비교되는가?

주요 결과

• 제안된 추정기는 다양한 시뮬레이션 설정에서 경쟁 방법들보다 낮은 평균 제곱 오차(MSE)를 달성한다.
• 사전 지정이나 교차 검증 없이도 최적의 행렬 질서를 자동으로 선택한다.
• 일반화된 SURE 기준은 노이즈 분산 지식 없이도 빠르고 안정적인 파ameter 선택을 가능하게 한다.
• 몬테카를로 시뮬레이션을 통해 기준 방법들과 비교해 MSE 및 질서 추정 정확도에서 일관된 우수성을 입증한다.
• 다양한 노이즈 수준과 저질서 구조에서 추정기의 성능이 강인함을 확인한다.