[논문 리뷰] Leveraged volume sampling for linear regression

Michał Dereziński, Manfred K. Warmuth외 1명|arXiv (Cornell University)|2018. 02. 19.

Markov Chains and Monte Carlo Methods인용 수 44

한 줄 요약

요약: 본 논문은 선형 회귀에서 표준 volume sampling의 한계를 식별하고, 이를 재스케일링한 변형인 leveraged volume sampling을 도입한다. 이는 효율적인 rejection-sampling 알고리즘을 통해 편향되지 않은 추정량과 k = O(d log d + d/ε)로 1+ε 손실 bound를 얻는다.

ABSTRACT

Suppose an $n imes d$ design matrix in a linear regression problem is given, but the response for each point is hidden unless explicitly requested. The goal is to sample only a small number $k \ll n$ of the responses, and then produce a weight vector whose sum of squares loss over all points is at most $1+ε$ times the minimum. When $k$ is very small (e.g., $k=d$), jointly sampling diverse subsets of points is crucial. One such method called volume sampling has a unique and desirable property that the weight vector it produces is an unbiased estimate of the optimum. It is therefore natural to ask if this method offers the optimal unbiased estimate in terms of the number of responses $k$ needed to achieve a $1+ε$ loss approximation. Surprisingly we show that volume sampling can have poor behavior when we require a very accurate approximation -- indeed worse than some i.i.d. sampling techniques whose estimates are biased, such as leverage score sampling. We then develop a new rescaled variant of volume sampling that produces an unbiased estimate which avoids this bad behavior and has at least as good a tail bound as leverage score sampling: sample size $k=O(d\log d + d/ε)$ suffices to guarantee total loss at most $1+ε$ times the minimum with high probability. Thus, we improve on the best previously known sample size for an unbiased estimator, $k=O(d^2/ε)$. Our rescaling procedure leads to a new efficient algorithm for volume sampling which is based on a determinantal rejection sampling technique with potentially broader applications to determinantal point processes. Other contributions include introducing the combinatorics needed for rescaled volume sampling and developing tail bounds for sums of dependent random matrices which arise in the process.

연구 동기 및 목표

• 응답을 얻는 데 비용이 많이 들 때 선형 회귀에서 응답의 서브샘플링을 동기 부여한다.
• 표준 volume sampling의 성능을 분석하고 작은 샘플 크기에서의 한계를 식별한다.
• 편향되지 않음을 보존하고 꼬리 구간 경계를 개선하는 재스케일(volume sampling) 방법을 개발한다.
• leveraged volume sampling을 구현하기 위한 효율적인 알고리즘(determinantal rejection sampling)을 제공한다.
• 편향되지 않은 추정기에 대한 거의 최적의 샘플 복잡도를 보이는 이론적 경계를 제시한다.

제안 방법

• q-rescaled volume sampling을 도입하고 임의의 재스케일링 q에 대해 편향되지 않음을 증명한다.
• 재스케일된 volume sampling의 정규화를 계산하기 위한 Cauchy-Binet 공식의 새로운 확장을 증명한다.
• 레버리지 점수 기반의 q를 사용하여 효율적으로 샘플을 생성하는 determinantal rejection sampling을 개발한다.
• 레버리지 점수를 활용하면 편향되지 않은 추정량과 우수한 행렬 꼬리 구간(bound)을 얻는다.
• 높은 확률로 1+ε 손실 bound를 얻기 위한 샘플 복잡도 k = O(d log d + d/ε) 를 도출한다.

실험 결과

연구 질문

• RQ1 최악의 데이터에서 표준 volume sampling은 작은 샘플 크기에 대해 1+ε 손실 보장을 제공하는가?
• RQ2 작은 k에서 성능을 개선하면서 편향되지 않음을 유지하도록 volume sampling을 수정할 수 있는가?
• RQ3 선형 회귀 서브샘플링에서 편향되지 않음을 보존하고 꼬리 구간 경계를 개선하는 재스케일링 전략은 무엇인가?
• RQ4 새로운 재스케일된 volume sampling을 구현하기 위한 효율적인 알고리즘을 설계할 수 있는가?
• RQ5 높은 확률로 1+ε 근사를 달성하기 위해 필요한 샘플 복잡도는 얼마인가?

주요 결과

• 표준 volume sampling은 작은 k에서 성능이 나쁠 수 있으며 특정 구성에서 최적값보다 큰 손실을 달성한다.
• 재스케일된 volume sampling(leveraged volume sampling)은 어떤 재스케일링 q에 대해서도 최소 제곱 해(solution)에 대한 편향되지 않은 추정량을 제공한다.
• q가 레버리지 점수에 비례하면 편향성 편향이 소멸하고 효율적인 rejection-sampling 알고리즘을 가능하게 한다.
• Leveraged volume sampling은 k = O(d log d + d/ε)에서 곱셈 꼬리 경계(multiplicative tail bounds)를 달성한다.
• 제안된 determinantal rejection sampling 알고리즘은 높은 확률로 대략 O((d^2 + k)d^2 log(1/δ))의 시간에 실행되며, 효율성을 위해 leverage-score 기반 재스케일링을 사용한다.
• 이 접근법은 기존에 알려진 편향되지 않은 샘플 한계 k = O(d^2/ε)를 k = O(d log d + d/ε)로 개선한다.