[논문 리뷰] Relating Leverage Scores and Density using Regularized Christoffel Functions

Edouard Pauwels, Francis R. Bach외 1명|arXiv (Cornell University)|2018. 05. 21.

Statistical Methods and Inference인용 수 12

한 줄 요약

이 논문은 커널 방법에서 통계적 리지드 스코어와 데이터 밀도를 연결하는 변분 프레임워크로 정규화된 크리스토펠 함수를 제안한다. 밀도가 낮은 영역에서는 리지드 스코어가 밀도의 역수로 감소함을 규명하여, $\text{leverage}(z) \propto p(z)^{d/(2s)-1}$ 라는 양적 관계를 도출한다. 이때 $d/(2s)-1 < 0$ 이므로 희소 영역에서 리지드 스코어가 높아짐을 의미한다.

ABSTRACT

Statistical leverage scores emerged as a fundamental tool for matrix sketching and column sampling with applications to low rank approximation, regression, random feature learning and quadrature. Yet, the very nature of this quantity is barely understood. Borrowing ideas from the orthogonal polynomial literature, we introduce the regularized Christoffel function associated to a positive definite kernel. This uncovers a variational formulation for leverage scores for kernel methods and allows to elucidate their relationships with the chosen kernel as well as population density. Our main result quantitatively describes a decreasing relation between leverage score and population density for a broad class of kernels on Euclidean spaces. Numerical simulations support our findings.

연구 동기 및 목표

• 커널 기반 학습에서 리지드 스코어와 데이터 밀도 사이의 내재적 관계를 명확히 하기 위해.
• 재생 커널 힐버트 공간(RKHS)에서 정규화된 크리스토펠 함수를 사용하여 리지드 스코어의 변분 공식을 개발하기 위해.
• 정규화 매개수 $\lambda \to 0^+$ 일 때 정규화된 크리스토펠 함수의 渐近 전개를 유도하기 위해.
• 리지드 스코어가 기저 인구 밀도 $p(z)$와 커널 구조에 어떻게 의존하는지 정량화하기 위해.
• 관측된 현상인 리지드 스코어가 밀도가 낮은 영역에서 더 높게 나타나는 현상에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 유계 노름을 가진 RKHS 내 함수들에 대해 최소화하는 정규화된 크리스토펠 함수 $C_\lambda(z)$ 를 도입한다.
• 결과적으로 $1/C_\lambda(z)$ 가 커널 기반 리지드 스코어에 해당함을 규명하며, 이를 매트릭스 스케칭과 컬럼 샘플링과 연결한다.
• 특히 소볼레프 유형 커널에 대해, RKHS에 대한 가정 하에 $\lambda \to 0^+$ 일 때 $C_\lambda(z)$ 의 점근적 분석을 수행한다.
• 다변수 해석학 및 푸리에 이론의 도구를 적용하며, $2s$-양의 다항식과 고차 도함수에 대한 파아 다 브루의 공식을 활용한다.
• 비율 함수 $1/(1 + \lambda P^\gamma)$ 의 도함수에 대한 경계를 도출하여, $C_\lambda(z)$ 가 임계점 근처에서의 행동을 제어한다.
• 분할 기반 미분과 다항식 차수의 경계를 활용하여 도함수의 성장률을 제어하고, 균일한 추정치를 확립한다.

실험 결과

연구 질문

• RQ1 커널 방법에서 리지드 스코어는 기저 데이터 밀도와 어떻게 관련이 있는가?
• RQ2 정규화된 크리스토펠 함수는 RKHS에서 리지드 스코어의 변분 대체 측정으로 기능할 수 있는가?
• RQ3 정규화된 크리스토펠 함수는 $\lambda \to 0^+$ 일 때 어떻게 점근적으로 행동하는가?
• RQ4 리지드 스코어는 국소 밀도에 체계적인 의존성을 보이며, 만약 그렇다면 그 방식은 무엇인가?
• RQ5 일반적인 커널 클래스에 대해 이 관계를 명시적인 척도 법칙으로 정량화할 수 있는가?

주요 결과

• 정규화된 크리스토펠 함수는 $\lambda \to 0^+$ 일 때 점근적 등가성 $C_\lambda(z) \sim q_0^{-1} \lambda^{d/(2s)} p(z)^{1 - d/(2s)}$ 를 만족하며, 여기서 $q_0$ 는 오직 RKHS에만 의존한다.
• 리지드 스코어는 극한에서 $p(z)^{d/(2s) - 1}$ 으로 척도가 조정되며, 이는 $p(z)$ 가 작은 희소 영역에서 리지드 스코어가 더 높아짐을 의미한다.
• 지수 $d/(2s) - 1 < 0$ 이며, $s > d/2$ 일 때 성립함을 확인하여 리지드 스코어가 희소 영역에서 증가함을 확인한다.
• 이 척도는 리지드 회귀 및 커널 방법에서 알려진 자유도 추정치와 일치한다.
• 이 결과는 저밀도 영역이 존재할 경우 최대 리지드 스코어와 평균 리지드 스코어의 비율이 크게 될 수 있음을 시사하며, 이는 샘플링 효율성에 영향을 줄 수 있다.
• 수치 시뮬레이션은 밀도가 증가함에 따라 리지드 스코어가 예측된 바와 같이 감소하는 경향을 확인하여 이론적 점근 해석을 검증한다.