[논문 리뷰] Learning-Based Low-Rank Approximations

Piotr Indyk, Ali Vakilian외 1명|arXiv (Cornell University)|2019. 10. 30.

Sparse and Compressive Sensing Techniques인용 수 19

한 줄 요약

이 논문은 입력 행렬의 분포에 맞춰 훈련된 희소 행렬로 기존의 랜덤 스케치 행렬을 대체함으로써, 저질서 행렬 분해를 위한 학습 기반 접근법을 제안한다. 이 방법은 랜덤 스케치 대비 약 10배까지 오차를 감소시키며, 특히 안정적 랭크에 의존하는 근사 요소를 갖는 $m=1$ 케이스에서 안정성과 일반화 경계를 통해 이론적 보장을 유지한다.

ABSTRACT

We introduce a "learning-based" algorithm for the low-rank decomposition problem: given an $n imes d$ matrix $A$, and a parameter $k$, compute a rank-$k$ matrix $A'$ that minimizes the approximation loss $\|A-A'\|_F$. The algorithm uses a training set of input matrices in order to optimize its performance. Specifically, some of the most efficient approximate algorithms for computing low-rank approximations proceed by computing a projection $SA$, where $S$ is a sparse random $m imes n$ "sketching matrix", and then performing the singular value decomposition of $SA$. We show how to replace the random matrix $S$ with a "learned" matrix of the same sparsity to reduce the error. Our experiments show that, for multiple types of data sets, a learned sketch matrix can substantially reduce the approximation loss compared to a random matrix $S$, sometimes by one order of magnitude. We also study mixed matrices where only some of the rows are trained and the remaining ones are random, and show that matrices still offer improved performance while retaining worst-case guarantees. Finally, to understand the theoretical aspects of our approach, we study the special case of $m=1$. In particular, we give an approximation algorithm for minimizing the empirical loss, with approximation factor depending on the stable rank of matrices in the training set. We also show generalization bounds for the sketch matrix learning problem.

연구 동기 및 목표

• 스트리밍 및 분산 환경에서 데이터 분포에 맞게 조정된 스케치 행렬을 학습함으로써 저질서 행렬 근사 정확도를 향상시키는 것.
• 랜덤 스케치 행렬을 대체하여 훈련 데이터에서 프로베니우스 노름 근사 오차를 최소화하는 학습된 희소 행렬을 사용하는 것.
• 더 나은 경험적 성능을 달성하면서도 악성 경우 이론적 보장을 유지하기 위해 분포 기반 학습을 통해 스케치 행렬을 설계하는 것.
• 특히 $m=1$ 케이스에서 학습된 스케치 행렬 문제에 대한 일반화 경계와 근사 보장을 제공하는 것.
• 혼합 행렬에서 학습된 스케치 행렬과 랜덤 스케치 행렬 간의 균형을 분석하여 성능과 이론적 강건성 모두를 유지하는 것.

제안 방법

• 훈련 데이터셋의 $ n \times d $ 행렬에서 희소 스케치 행렬 $ S $ 를 학습하여, $ A' $ 가 $ SA $ 의 질서-$ k $ 근사인 경우 프로베니우스 노름 손실 $ \|A - A'\|_F $ 를 최소화하는 것.
• 두 단계 과정을 사용: 먼저 $ SA $ 를 통해 $ A $ 를 스케치하고, 그 다음 $ SA $ 에 대해 SVD 를 계산하여 저질서 근사를 도출하며, $ S $ 는 훈련 데이터에서 기반 또는 히우리스틱 학습을 통해 최적화된다.
• 일부 행은 학습된 행렬이고 다른 일부는 랜덤인 혼합 스케치 전략을 도입하여, 악성 경우 보장을 유지하면서 정확도를 향상시킨다.
• 이론적 분석을 위해 $ m=1 $ 케이스를 연구하고, 훈련 행렬의 안정적 랭크에 따라 의존하는 근사 요소를 갖는 근사 알고리즘을 유도한다.
• 라드마처 복잡도와 농도 불등식을 적용하여 학습된 스케치 행렬에 대한 일반화 경계를 유도하며, 미관측 데이터에서의 성능을 보장한다.
• 행렬 분해의 피타고라스 정리를 사용하여 $ [AV]_k V^T $ 가 $ V $ 의 열 공간 내에서 최적의 질서-$ k $ 근사임을 증명함으로써 오차 분해의 이론적 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 스케치 행렬은 랜덤 스케치 대비 저질서 행렬 분해의 근사 오차를 감소시킬 수 있는가?
• RQ2 학습된 스케치 행렬에 대한 이론적 근사 보장은 무엇이며, 특히 $ m=1 $ 케이스에서 어떻게 적용되는가?
• RQ3 부분적으로 학습된, 부분적으로 랜덤인 혼합 스케치 행렬은 성능과 악성 경우 강건성 사이의 균형을 어떻게 유지하는가?
• RQ4 학습된 스케치 행렬 문제에 대해 미관측 데이터 분포에 대해 어떤 일반화 경계를 설정할 수 있는가?
• RQ5 훈련 행렬의 안정적 랭크는 학습된 스케치 알고리즘의 근사 요소에 어떤 영향을 미치는가?

주요 결과

• 학습된 스케치 행렬은 다양한 데이터 유형에서 랜덤 스케치 대비 약 10배까지 근사 오차를 감소시킨다.
• $m=1$ 케이스에서 제안된 알고리즘은 훈련 행렬의 안정적 랭크에 따라 의존하는 근사 요소를 달성하며, 랜덤 스케치보다 향상된 성능을 보인다.
• 일부 행은 학습되고 일부는 랜덤인 혼합 스케치 행렬은 악성 경우 이론적 보장을 유지하면서도 순수 랜덤 스케치보다 뛰어난 성능을 보인다.
• 라드마처 복잡도를 사용하여 일반화 경계를 확립하였으며, 훈련 세트에서 강건한 해가 높은 확률로 기저 데이터 분포로 일반화됨을 보여준다.
• 이론적 분석을 통해 학습된 스케치 행렬이 경험적 손실을 최소화하면서도, 높은 신뢰도로 미관측 행렬에 대해 일반화됨을 확인하였다.
• 경험적 결과는 다양한 데이터셋에서 일관된 성능 향상을 보이며, 일반적인 랜덤 투영보다 분포 기반 스케치의 효과성을 검증한다.