[논문 리뷰] Ridge Regression and Provable Deterministic Ridge Leverage Score Sampling

Shannon McCurdy|arXiv (Cornell University)|2018. 03. 15.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 3

한 줄 요약

이 논문은 릿지 리버리지 스코어를 사용한 열 샘플링를 위한 증명 가능하게 정확한 결정론적 알고리즘을 제안하며, 열 서브셋 선택, 프로젝션 비용 보존, 스펙트럴 유사도에 대해 $(1+\epsilon)$-근사 보장을 보장한다. 릿지 리버리지 스코어의 등급수 감쇠가 발생할 경우, 이 방법은 정규화된 알고리즘의 정확도를 따라가며 결정론적이고 반복 가능한 결과를 통해 해석 가능성을 제공한다.

ABSTRACT

Ridge leverage scores provide a balance between low-rank approximation and regularization, and are ubiquitous in randomized linear algebra and machine learning. Deterministic algorithms are also of interest in the moderately big data regime, because deterministic algorithms provide interpretability to the practitioner by having no failure probability and always returning the same results. We provide provable guarantees for deterministic column sampling using ridge leverage scores. The matrix sketch returned by our algorithm is a column subset of the original matrix, yielding additional interpretability. Like the randomized counterparts, the deterministic algorithm provides (1 + ε) error column subset selection, (1 + ε) error projection-cost preservation, and an additive-multiplicative spectral bound. We also show that under the assumption of power-law decay of ridge leverage scores, this deterministic algorithm is provably as accurate as randomized algorithms. Lastly, ridge regression is frequently used to regularize ill-posed linear least-squares problems. While ridge regression provides shrinkage for the regression coefficients, many of the coefficients remain small but non-zero. Performing ridge regression with the matrix sketch returned by our algorithm and a particular regularization parameter forces coefficients to zero and has a provable (1 + ε) bound on the statistical risk. As such, it is an interesting alternative to elastic net regularization.

연구 동기 및 목표

• 중간 크기의 데이터셋에서 높은 정확도와 해석 가능성을 보장하는 결정론적 열 샘플링 알고리즘 개발.
• 릿지 리버리지 스코어를 사용한 열 서브셋 선택, 프로젝션 비용 보존, 스펙트럴 근사에 대한 이론적 보장을 제공.
• 릿지 리버리지 스코어의 등급수 감쇠 조건 하에서 결정론적 샘플링이 랜덤화된 방법과 동일한 정확도를 달성함을 보여줌.
• 결정론적 스케치에 대한 릿지 회귀가 통계적 리스크에 대해 $(1+\epsilon)$-경계를 제공하며, 엘라스틱 넷 정규화의 타당한 대안이 됨을 보여줌.

제안 방법

• 알고리즘은 $\lambda_2 = \frac{1}{k}\|\mathbf{A} - \mathbf{A}_k\|_F^2$로 정의된 결정론적 릿지 리버리지 스코어를 기반으로 열을 선택하며, $\bar{\tau}_i(\mathbf{A}) = \mathbf{a}_i^T(\mathbf{A}\mathbf{A}^T + \lambda_2\mathbf{I})^+\mathbf{a}_i$로 정의된다.
• 선택된 릿지 리버리지 스코어의 합이 총 추적값 $\bar{t}$에서 $\epsilon$ 이내가 되는 열 서브셋 $\mathbf{C}$를 선택한다.
• 해석적 유도와 행렬 섭동 이론을 통해 열 서브셋 선택, 프로젝션 비용 보존, 스펙트럴 노름 경계에 대해 $(1+\epsilon)$-근사 보장을 확립한다.
• 릿지 리버리지 스코어의 등급수 감쇠 가정을 활용하여 필요한 열의 수를 제한하며, 정규화된 샘플링과 정확도에서 동등함을 보여준다.
• 정규화 파rameter $\lambda_2$를 정의하기 위해 랭크-$k$ SVD 근사 $\mathbf{A}_k$를 사용하여 안정성과 이론적 보장을 확보한다.
• 행렬 농도 부등식과 스펙트럴 분해를 사용하여 이론적 경계를 도출하며, 증명은 Papailiopoulos 등 (2014) 및 Cohen 등 (2017)의 결과를 변형하여 적용한다.

실험 결과

연구 질문

• RQ1 결정론적 릿지 리버리지 스코어 샘플링 알고리즘이 열 서브셋 선택, 프로젝션 비용 보존, 스펙트럴 경계에 대해 $(1+\epsilon)$-근사 보장을 달성할 수 있는가?
• RQ2 결정론적 릿지 리버리지 스코어 샘플링이 정규화된 방법과 동등한 정확도를 달성하는 조건은 무엇인가?
• RQ3 결정론적 스케치에 대한 릿지 회귀는 엘라스틱 넷과 비교해 통계적 리스크와 계수 희박성 측면에서 어떻게 다른가?
• RQ4 릿지 리버리지 스코어가 등급수 감쇠를 보일 경우, 필요한 열의 수에 대한 이론적 경계는 무엇인가?
• RQ5 중간 크기의 데이터셋에서 정확도를 희생시키지 않고 결정론적 알고리즘이 해석 가능성을 제공할 수 있는가?

주요 결과

• 결정론적 알고리즘은 열 서브셋 선택, 프로젝션 비용 보존, 스펙트럴 노름 경계에 대해 $(1+\epsilon)$-근사 보장을 달성하며, 정규화된 릿지 리버리지 스코어 샘플링의 보장 수준을 그대로 유지한다.
• 릿지 리버리지 스코어가 등급수 감쇠를 보일 경우, 결정론적 알고리즘은 오직 $O(k \log k / \epsilon^2)$개의 열만 필요로 하며, 이는 정규화된 방법의 표본 복잡도와 동일하다.
• 스케치에 대한 릿지 회귀에서 통계적 리스크에 대해 $(1+\epsilon)$-경계를 확보하며, 정규화로 인해 계수가 0으로 수렴한다.
• 작은 특이값에 의존하지 않기 때문에, 전통적인 리버리지 스코어 샘플링보다 더 안정적이고 해석 가능한 결과를 제공한다.
• LGG 종양 다중오믹스 데이터에 대한 실증 결과는 $k=3$일지라도 오직 소수의 열(예: 약 100개)만으로도 낮은 오차를 유지할 수 있음을 보여준다.
• 예측 차이($\hat{\mathbf{y}}_{\mathbf{A}} - \hat{\mathbf{y}}_{\mathbf{C}}$)의 히스토그램은 최소한의 편차를 보이며, 스케치의 강력한 예측 충실도를 확인한다.