[논문 리뷰] A robust SVD-free approach to matrix completion, with applications to interpolation of large scale data

Aleksandr Y. Aravkin, Rajiv Kumar외 3명|arXiv (Cornell University)|2013. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 7

한 줄 요약

이 논문은 사용자가 지정한 데이터 피팅 오차 수준을 목표로 하는 강건하고 SVD를 필요로 하지 않는 행렬 완성 알고리즘인 LR-BPDN을 제안한다. 이는 대규모 데이터의 효율적 보간을 가능하게 한다. 인자 분해 최적화와 가중 부분공간 정보 및 큰 오차에 대한 강건성 확장 기법을 활용하여, 오염된 측정치가 있는 상황에서도 MovieLens 및 실제 지구물리적 시ismic 데이터에서 고품질의 복원을 달성한다.

ABSTRACT

Recent SVD-free matrix factorization formulations have enabled rank minimization for systems with millions of rows and columns, paving the way for matrix completion in extremely large-scale applications, such as seismic data interpolation. In this paper, we consider matrix completion formulations designed to hit a target data-fitting error level provided by the user, and propose an algorithm called LR-BPDN that is able to exploit factorized formulations to solve the corresponding optimization problem. Since practitioners typically have strong prior knowledge about target error level, this innovation makes it easy to apply the algorithm in practice, leaving only the factor rank to be determined. Within the established framework, we propose two extensions that are highly relevant to solving practical challenges of data interpolation. First, we propose a weighted extension that allows known subspace information to improve the results of matrix completion formulations. We show how this weighting can be used in the context of frequency continuation, an essential aspect to seismic data interpolation. Second, we propose matrix completion formulations that are robust to large measurement errors in the available data. We illustrate the advantages of LR-BPDN on the collaborative filtering problem using the MovieLens 1M, 10M, and Netflix 100M datasets. Then, we use the new method, along with its robust and subspace re-weighted extensions, to obtain high-quality reconstructions for large scale seismic interpolation problems with real data, even in the presence of data contamination.

연구 동기 및 목표

• 기존 SVD 기반 방법이 계산적으로 비효율적인 응용 분야(예: 지구물리적 데이터 보간)에서 대규모 행렬 완성 문제를 해결한다.
• 사용자가 목표 데이터 피팅 오차 수준을 지정할 수 있도록 해, 다수의 하이퍼파rameter를 조정하는 데 의존도를 줄여 실용적인 배포를 가능하게 한다.
• 가중 행렬 완성 공식을 통해 부분공간에 대한 사전 지식을 통합함으로써 데이터 보간 작업의 복원 품질을 향상시킨다.
• 실제 응용 분야(예: 노이즈 또는 누락된 트레이스가 있는 지구물리적 데이터)에서 흔히 발생하는 큰 측정 오차에 대한 강건성을 향상시킨다.
• 기본적인 협업 필터링 데이터셋과 실제 대규모 지구물리적 시ismic 데이터에서 제안된 프레임워크의 효과성을 입증한다.

제안 방법

• 저랭크 행렬 완성을 최소화하는 인자 분해 핵노름 근사화를 통해 SVD를 필요로 하지 않는 최적화 프레임워크인 LR-BPDN을 제안하여 수백만 행과 열에까지 스케일이 가능하도록 한다.
• 사용자가 지정한 데이터 피팅 오차 내성 수준을 갖는 베이시스 프루팅 디노이징(BPDN) 스타일 최적화 문제로 행렬 완성 문제를 재정의함으로써 복원 정확도를 직접 제어할 수 있도록 한다.
• 특히 지구물리적 데이터 보간에서 주파수 연속성에 유용한 지식 기반 부분공간 정보를 통합하기 위해 가중 행렬 완성 확장 기법을 도입한다.
• 관측된 항목에서 이상치에 덜 민감한 형태로 데이터 피팅 항목을 수정함으로써 큰 측정 오차에 대한 강건성을 확보하는 복원 공식을 개발한다.
• LR-BPDN 프레임워크 내의 인자 분해 최적화 문제를 효율적으로 해결하기 위해 분할 역할 방법(ADMM) 또는 유사한 1차 최적화 방법을 사용한다.
• 저랭크 인자 분해를 활용하여 명시적 SVD 계산을 회피함으로써 대규모 문제에서 계산 비용과 메모리 사용량을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 사용자가 직접 지정한 데이터 피팅 오차 수준을 목표로 하는 행렬 완성 알고리즘을 설계할 수 있는가? 이는 실용적 배포를 단순화할 수 있다.
• RQ2 지구물리적 데이터의 주파수 성분과 같은 데이터 부분공간에 대한 사전 지식을 효과적으로 행렬 완성에 통합할 수 있는가? 이는 복원 품질 향상에 기여한다.
• RQ3 실제 데이터(예: 지구물리적 또는 센서 데이터)에서 흔히 발생하는 큰 측정 오차에 대해 행렬 완성을 강건하게 만들 수 있는가?
• RQ4 Netflix 100M 및 지구물리적 데이터와 같은 대규모 데이터셋에서 제안된 LR-BPDN 프레임워크가 기존 방법에 비해 정확도와 확장성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 데이터 오염 상황에서도 높은 품질의 보간을 달성하면서도 계산 효율성을 유지할 수 있는가?

주요 결과

• LR-BPDN은 MovieLens 1M, 10M 및 Netflix 100M 데이터셋에서 고품질의 행렬 완성을 달성하여 대규모 협업 필터링 작업에서 확장성과 정확도를 입증한다.
• LR-BPDN의 가중 확장 기법은 지구물리적 데이터 보간에서 알려진 부분공간 정보를 효과적으로 활용함으로써 특히 주파수 연속성에 유리한 복원 품질 향상을 이룬다.
• LR-BPDN의 강건한 공식은 관측 데이터에 큰 측정 오차가 포함되어 있어도 높은 복원 정확도를 유지하며, 오염된 상황에서 표준 방법보다 뛰어난 성능을 발휘한다.
• SVD 계산이 필요 없기 때문에 LR-BPDN은 수백만 행과 열을 가진 시스템에서도 행렬 완성을 가능하게 하여 초대규모 응용 분야에 적합하다.
• 실제 지구물리적 데이터를 고해상도로 복원하는 데 성공하여, 지구물리적 데이터 처리 분야에서의 실용적 유용성을 확인한다.
• LR-BPDN의 사용자 정의 오차 내성은 하이퍼파rameter 조정을 단순화하여, 사용자가 최적 결과를 얻기 위해 오직 인자 랭크만 선택하도록 돕는다.