[논문 리뷰] Spectrum Estimation from a Few Entries

Ashish Khetan, Sewoong Oh|arXiv (Cornell University)|2017. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 낮은 질서의 행렬의 스펙트럼을 관측된 요소 수가 적은 경우에 샘플 효율적인 방법으로 추정하는 새로운 방법을 제안한다. 먼저, 클리크와 같은 작은 부분그래프를 세는 방식으로 비편향 추정기를 기반으로 한 슈타트너 $k$-노름을 추정한 후, 체비쇼프 근사 또는 모멘트 매칭을 통해 스펙트럼 합 함수와 전체 스펙트럼을 복원한다. 주요 기여는 특히 $|\nabla| \triangleq d^2p \triangleq dr$인 부분선형 영역에서 전체 행렬 복원에 필요한 것보다 훨씬 적은 샘플로 슈타트너 노름을 정확하게 추정할 수 있다는 점이다.

ABSTRACT

Singular values of a data in a matrix form provide insights on the structure of the data, the effective dimensionality, and the choice of hyper-parameters on higher-level data analysis tools. However, in many practical applications such as collaborative filtering and network analysis, we only get a partial observation. Under such scenarios, we consider the fundamental problem of recovering spectral properties of the underlying matrix from a sampling of its entries. We are particularly interested in directly recovering the spectrum, which is the set of singular values, and also in sample-efficient approaches for recovering a spectral sum function, which is an aggregate sum of the same function applied to each of the singular values. We propose first estimating the Schatten $k$-norms of a matrix, and then applying Chebyshev approximation to the spectral sum function or applying moment matching in Wasserstein distance to recover the singular values. The main technical challenge is in accurately estimating the Schatten norms from a sampling of a matrix. We introduce a novel unbiased estimator based on counting small structures in a graph and provide guarantees that match its empirical performance. Our theoretical analysis shows that Schatten norms can be recovered accurately from strictly smaller number of samples compared to what is needed to recover the underlying low-rank matrix. Numerical experiments suggest that we significantly improve upon a competing approach of using matrix completion methods.

연구 동기 및 목표

• 관측된 요소의 소수의 부분 집합만 존재할 때 행렬의 스펙트럼적 성질(고유값/특이값)을 추정하는 기본적인 과제를 해결한다.
• 특히 $|\nabla| \triangleq d^2p \triangleq dr$인 부분선형 샘플링 영역에서 기존의 행렬 복원 방법이 실패하는 한계를 극복한다.
• 전체 행렬을 복원하지 않고도 스펙트럼 합 함수와 전체 스펙트럼을 직접 추정하는 프레임워크를 개발한다.
• 슈타트너 $k$-노름이 낮은 질서의 행렬 복원에 필요한 것보다 훨씬 적은 샘플로 정확하게 추정될 수 있음을 보여주는 이론적 보장을 제공한다.
• 샘플링 패턴 그래프에서 작은 부분그래프(예: 클리크)를 세는 방식으로 설계된 새로운 비편향 추정기를 제안하며, 엄밀한 분산 한계를 확보한다.

제안 방법

• 샘플링 패턴 그래프에서 $k$-폐쇄 도착 또는 작은 클리크($K_\nu$)의 수를 세는 비편향 추정기를 통해 슈타트너 $k$-노름을 추정한다.
• 추정기의 출력을 바탕으로 워셔슈타인 거리에서 체비쇼프 근사 또는 모멘트 매칭을 통해 스펙트럼 합 함수를 복원한다.
• 결측 요소를 보정하기 위해 샘플링된 행렬에 $(d^2/|\nabla|)$의 스케일링 인자를 적용하지만, 부분선형 영역에서는 샘플링된 행렬의 슈타트너 노름을 직접 사용하는 것이 부족하다는 것을 보여준다.
• 에르되시-레니(erdös-rényi) 샘플링(랜덤 샘플링)과 그래프 샘플링(구조적 샘플링)을 포함한 두 가지 샘플링 모델을 도입하고, 각각에 맞춘 이론적 분석을 제공한다.
• 정확한 슈타트너 노름 추정을 위해 필요한 샘플 수에 대한 이론적 한계를 유도하며, 이는 행렬 복원에 필요한 샘플 수보다 엄격히 작다는 것을 보여준다.
• 가짜 그래프 분해와 가중 도착 분석을 사용하여 추정기의 분산을 근사하며, 악성 상쇄의 최악의 경우를 고려하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 부분선형 수준의 관측 요소 수($|\nabla| \triangleq d^2p \triangleq dr$)에서 행렬의 스펙트럼적 성질를 정확하게 추정할 수 있는가?
• RQ2 전체 행렬 복원 없이도 소수의 요소만으로 슈타트너 $k$-노름을 정확하게 추정할 수 있는가?
• RQ3 부분선형 샘플링 영역에서 제안된 추정기의 성능은 기존의 행렬 복원 기반 접근법과 비교해 어떻게 되는가?
• RQ4 높은 확률로 슈타트너 노름을 추정하기 위해 필요한 최소 샘플 수는 얼마이며, 이는 행렬의 질서와 차원에 따라 어떻게 변화하는가?
• RQ5 샘플링 패턴 내의 그래프 이론적 구조(예: 클리크)를 활용하여 슈타트너 노름에 대한 비편향이고 효율적인 추정기를 설계할 수 있는가?

주요 결과

• 제안된 슈타트너 $k$-노름 추정기는 특히 부분선형 영역에서 낮은 질서의 행렬 복원에 필요한 것보다 훨씬 적은 샘플로 정확한 추정을 달성한다.
• 수치 실험 결과, 스펙트럼 합 함수와 스펙트럼 추정에서 기존의 행렬 복원 기반 방법보다 본 방법이 뛰어난 성능을 보이며, 특히 $|\nabla| \triangleq d^2p \triangleq dr$일 때 두드러진다.
• 클리크 $K_\nu$를 세는 방식의 추정기는 슈타트너 노름의 비편향 추정을 달성하며, 가짜 그래프 도착 분해를 통해 이론적 분산 한계를 도출한다.
• 효율적 질서가 낮은 행렬(예: 특이값이 $1/i^2$ 비슷하게 감쇠하는 경우)에서는 본 추정기와 단순 스케일링된 샘플링된 행렬 간의 성능 격차가 줄어들며, 낮은 질서 설정에서 성능 향상을 시사한다.
• 이론적 분석 결과, 필요한 샘플 수는 행렬 차원 $d$에 대해 부분선형으로 증가하며, 특정 조건 하에서는 행렬의 질서 $r$과 독립적임을 보여주며, 강력한 샘플 효율성을 시사한다.
• 작은 $k$ 또는 작은 $r$에 대한 이론적 한계는 최악의 분산 가정에 기반하지만, 실증 결과는 이러한 한계를 더 견고하게 만들 수 있음을 시사하며, 이론적 분석의 강도를 높인다.