[논문 리뷰] A determinantal point process for column subset selection

Ayoub Belhadji, R. Bardenet외 1명|arXiv (Cornell University)|2018. 12. 23.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 14

한 줄 요약

이 논문은 높은 질의 저랭크 근사화를 보장하면서 k개의 다양한 열을 행렬 X에서 선택하기 위해 투영 결정성 점진 과정(DPP)을 사용하는 새로운 랜덤화된 열 부분집합 선택 알고리즘을 제안한다. 이 방법은 현실적인 구조적 가정—특히 k-리버리지 점수의 희소성 또는 급격한 감쇠—하에 기존의 볼륨 샘플링보다 더 날카운 이론적 오차 경계를 달성하며, 이중 단계 알고리즘의 경험적 성능을 유지한다.

ABSTRACT

Dimensionality reduction is a first step of many machine learning pipelines. Two popular approaches are principal component analysis, which projects onto a small number of well chosen but non-interpretable directions, and feature selection, which selects a small number of the original features. Feature selection can be abstracted as a numerical linear algebra problem called the column subset selection problem (CSSP). CSSP corresponds to selecting the best subset of columns of a matrix $X \in \mathbb{R}^{N imes d}$, where \emph{best} is often meant in the sense of minimizing the approximation error, i.e., the norm of the residual after projection of $X$ onto the space spanned by the selected columns. Such an optimization over subsets of $\{1,\dots,d\}$ is usually impractical. One workaround that has been vastly explored is to resort to polynomial-cost, random subset selection algorithms that favor small values of this approximation error. We propose such a randomized algorithm, based on sampling from a projection determinantal point process (DPP), a repulsive distribution over a fixed number $k$ of indices $\{1,\dots,d\}$ that favors diversity among the selected columns. We give bounds on the ratio of the expected approximation error for this DPP over the optimal error of PCA. These bounds improve over the state-of-the-art bounds of \emph{volume sampling} when some realistic structural assumptions are satisfied for $X$. Numerical experiments suggest that our bounds are tight, and that our algorithms have comparable performance with the \emph{double phase} algorithm, often considered to be the practical state-of-the-art. Column subset selection with DPPs thus inherits the best of both worlds: good empirical performance and tight error bounds.

연구 동기 및 목표

• 고차원 행렬 X에서 다소 작은, 다양한 열 부분집합을 선택하여 해석 가능성은 유지하면서 근사 오차를 최소화하는 문제에 대응하기 위해.
• 계산 효율성과 근사 오차에 대한 강력한 이론적 보장을 균형 잡는 랜덤화 알고리즘을 개발하기 위해.
• 볼륨 샘플링과 이중 단계 알고리즘과 같은 기존 방법들을 향상시키기 위해, 실제 세계의 행렬 구조를 반영하는 더 날카운 이론적 경계를 제공하기 위해.
• 선택된 열을 사용한 스케치드 선형 회귀에서의 초과 위험을 분석하여, 리버리지 점수의 희소성과 더 나은 일반화 경계 사이의 관계를 규명하기 위해.
• DPP 기반 방법이 현재 경험적 황금 표준인 이중 단계 알고리즘과 유사한 경험적 성능을 보이며 더 나은 이론적 근거를 제공함을 실증적으로 검증하기 위해.

제안 방법

• 행렬 X의 첫 k개의 우측 특이 벡터 V_k를 사용하여 커널 행렬 K = V_k V_k^T로 정의되는 투영 DPP를 사용하여 열 선택의 다양성을 유도한다.
• DPP에서의 샘플링은 열이 열 공간 내 다양한 방향을 커버하도록 보장하여 중복을 줄이고 부분공간 커버리지를 향상시킨다.
• 알고리즘은 열의 중요도를 나타내는 k-리버리지 점수를 사용하며, 이러한 점수의 희소성과 감쇠가 이론적 경계에서 핵심적인 역할을 한다.
• 이론적 분석을 통해 랭크-k PCA에 대한 근사 오차의 기대값에 대한 곱셈적 경계를 제공한다.
• 이 방법은 스케치드 선형 회귀에서의 초과 위험을 분석하기 위해 확장되어, k-리버리지 점수의 희소성이 더 날카운 위험 경계를 이끌어내는 것으로 나타났다.
• 수치 실험은 합성 및 실제 데이터셋에서 DPP 기반 방법을 볼륨 샘플링, 이중 단계 알고리즘 및 기타 기준 방법과 비교하며, 고정 및 부스팅 샘플링 전략을 모두 사용한다.

실험 결과

연구 질문

• RQ1 행렬 X에 대해 DPP 기반 열 선택 방법이 볼륨 샘플링보다 더 날카운 이론적 근사 오차 경계를 확보하는 데 필요한 구조적 조건은 무엇인가?
• RQ2 k-리버리지 점수의 희소성 또는 감쇠율은 제안된 DPP 기반 열 선택 알고리즘의 성능과 이론적 보장에 어떤 영향을 미치는가?
• RQ3 DPP 기반 열 선택 방법이 이중 단계 알고리즘과 유사한 경험적 성능을 달성하면서 더 날카운 이론적 경계를 제공할 수 있는가?
• RQ4 선택된 열을 특징으로 사용할 때 k-리버리지 점수의 희소성과 스케치드 선형 회귀에서의 초과 위험 간의 관계는 무엇인가?
• RQ5 DPP 샘플링 메커니즘은 독립적 동일분포(i.i.d.) 샘플링과 볼륨 샘플링에 비해 다양성과 근사 오차 측면에서 어떻게 비교되는가?

주요 결과

• k-리버리지 점수의 희소성 또는 급격한 감쇠 조건 하에서, DPP 기반 알고리즘이 볼륨 샘플링보다 Frobenius 범수와 스펙트럴 노름 모두에서 기대 근사 오차에 대해 더 날카운 이론적 경계를 확보한다.
• k-리버리지 점수가 희소하거나 급격히 감쇠할 경우 이론적 경계가 크게 향상되며, 이는 압축 감지 및 행렬 근사 분야의 이전 결과와 일치한다.
• 수치 실험 결과, DPP 기반 방법이 Relathe 및 Leukemia를 포함한 여러 데이터셋에서 현재 경험적 황금 표준인 이중 단계 알고리즘과 유사한 성능을 보였다.
• k-리버리지 점수가 희소하거나 급격히 감쇠할 경우 스케치드 선형 회귀에서의 초과 위험이 작아지며, 이는 본 방법이 후속 학습 작업에서의 유용성을 입증한다.
• 이 알고리즘은 강력한 이론적 보장과 강력한 경험적 성능을 모두 확보하여, 해석 가능성과 근사 정확성 사이의 균형 잡힌 솔루션을 제공한다.
• 이론적 분석을 통해 DPP 샘플링 메커니즘이 열이 중복되거나 상관관계가 높을 경우 i.i.d. 또는 볼륨 샘플링보다 더 나은 부분공간 커버리지를 제공하는 것으로 드러났다.