[논문 리뷰] Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\\"om method

Michał Dereziński, Rajiv Khanna외 1명|arXiv (Cornell University)|2020. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 13

한 줄 요약

이 논문은 데이터 행렬의 스펙트럼적 성질을 활용하여 컬럼 서브셋 선택(CSS)과 니스트롬 방법에 대한 향상된 이론적 보장을 제시하며, 부분집합 크기 k에 대한 근사 오차의 새로운 다중 내림차순 곡선을 규명한다. 분석 결과, 근사 인자 값은 스펙트럼 감쇠의 정도에 따라 다수의 정점과 골짜기를 보일 수 있으며, 다항식 또는 지수 감쇠를 보이는 행렬에 대해서는 기존의 최악의 경우 보장보다 훨씬 뛰어난 더 날카운 보장을 제공한다.

ABSTRACT

The Column Subset Selection Problem (CSSP) and the Nystr\\"om method are among the leading tools for constructing small low-rank approximations of large datasets in machine learning and scientific computing. A fundamental question in this area is: how well can a data subset of size k compete with the best rank k approximation? We develop techniques which exploit spectral properties of the data matrix to obtain improved approximation guarantees which go beyond the standard worst-case analysis. Our approach leads to significantly better bounds for datasets with known rates of singular value decay, e.g., polynomial or exponential decay. Our analysis also reveals an intriguing phenomenon: the approximation factor as a function of k may exhibit multiple peaks and valleys, which we call a multiple-descent curve. A lower bound we establish shows that this behavior is not an artifact of our analysis, but rather it is an inherent property of the CSSP and Nystr\\"om tasks. Finally, using the example of a radial basis function (RBF) kernel, we show that both our improved bounds and the multiple-descent curve can be observed on real datasets simply by varying the RBF parameter.

연구 동기 및 목표

• 컬럼 서브셋 선택과 니스트롬 방법의 표준 최악의 경우 근사 보장인 k+1을 초월하는 것을 목표로 한다.
• 특히 구조적인 스펙트럼 감쇠를 보이는 데이터셋에서 실용적 성능이 최악의 경우 보장보다 뛰어나게 되는 이유를 이해하는 것.
• 특히 스펙트럼적 구조와의 관계에서 부분집합 크기 k에 대한 근사 인자의 본질적 행동을 규명하는 것.
• 근사 오차가 다수의 정점과 골짜기를 보이는 다중 내림차순 현상이 분석의 부산물이 아니라 CSSP 및 니스트롬 작업의 본질적 성질임을 입증하는 것.
• 무작위 선택(k-DPP)과 그레디 선택 모두가 다중 내림차순 곡선을 보이며, 이는 이론적 예측과 일치함을 검증하는 것.

제안 방법

• 스펙트럼 감쇠율에 따라 의존하는 일반화된 안정 랭크 개념을 사용하여 CSSP 근사 인자에 대한 상한 가족을 개발하며, 이를 마스터 정리(정리 1)로 제시한다.
• 다항식 또는 지수 감쇠와 같은 알려진 특이값 감쇠를 보이는 행렬에 대해 향상된 상한(정리 2)을 유도하며, k+1 최악의 경우 보다 상당한 개선을 보여준다.
• 다중 내림차순 행동이 분석의 부산물이 아니고 문제의 본질적 성질임을 입증하기 위해 새로운 하한 구축 방법(정리 3)을 제안한다.
• 부분집합 크기 k에 대한 근사 인자를 분석하고, 그 정점과 골짜기가 데이터 행렬의 스펙트럼에서 급격한 감쇠와 연결됨을 규명한다.
• 합성 및 실질적 데이터셋에서 k-DPP와 그레디 부분집합 선택을 사용하여 다중 내림차순 곡선을 실증적으로 검증하며, 스펙트럼 감쇠와 성능 정점 간의 일치를 보인다.
• RBF 커널을 조절 가능한 메커니즘으로 사용하여 RBF 파arameter σ를 변화시킴으로써 실데이터에서 다중 내림차순 곡선을 관측한다.

실험 결과

연구 질문

• RQ1 컬럼 서브셋 선택과 니스트롬 방법에 대해 최악의 경우 k+1 보장보다 향상된 근사 보장을 유도할 수 있는가?
• RQ2 스펙트럼적 성질—특히 특이값 감쇠—는 부분집합 크기 k에 대한 근사 인자 행동을 결정하는 데 어떤 역할을 하는가?
• RQ3 근사 인자에서 관측된 다중 정점 및 골짜기 행동(다중 내림차순)은 분석의 부산물인가, 아니면 문제의 본질적 성질인가?
• RQ4 무작위 선택(k-DPP)과 그레디 선택 모두가 다중 내림차순 곡선을 보이며, 만약 그렇다면 이는 스펙트럼적 구조와 어떻게 일치하는가?
• RQ5 RBF 커널 파라미터를 사용하여 스펙트럼 감쇠를 조절하고, 실데이터셋에서 다중 내림차순 현상을 실증적으로 관측할 수 있는가?

주요 결과

• 논문은 빠른 특이값 감쇠를 보이는 행렬에 대해 특히 유리한, 최악의 경우 k+1 보장보다 향상된 새로운 상한 가족(정리 1)을 확립한다.
• 다항식 또는 지수 감쇠를 보이는 행렬에 대해서는 정리 2에 의해 k+1보다 상당히 우수한 근사 인자가 가능함을 보여준다.
• 다중 내림차순 행동—즉, 부분집합 크기 k에 따라 근사 인자가 다수의 정점과 골짜기를 보이는 것—이 문제의 본질적 성질임을 입증하기 위해 새로운 하한(정리 3)을 제시한다.
• 실제 데이터셋에서 k-DPP와 그레디 부분집합 선택 모두에서 다중 내림차순 곡선이 실증적으로 관측되며, 특히 RBF 커널의 σ를 변화시킬 때 두드러진다.
• 근사 인자의 정점은 스펙트럼의 급격한 감쇠와 일치함을 확인하여, 스펙트럼 구조가 성능 곡선에 직접적인 영향을 미침을 입증한다.
• 스펙트럼 감쇠가 매끄럽다면 다중 내림차순 현상은 사라지며, 근사 인자는 1에 가까워져 이러한 행렬에 대해 성능이 향상됨을 나타낸다.