[論文レビュー] Leveraged volume sampling for linear regression

Michał Dereziński, Manfred K. Warmuth+1 more|arXiv (Cornell University)|Feb 19, 2018

Markov Chains and Monte Carlo Methods被引用数 44

ひとこと要約

本論文は線形回帰における標準のボリュームサンプリングの限界を識別し、レバレージドボリュームサンプリングというリスケールされた変種を導入する。これは効率的なリジェクションサンプリングアルゴリズムを備え、無偏推定量と1+εの損失境界をもたらし、k = O(d log d + d/ε)である。

ABSTRACT

Suppose an $n imes d$ design matrix in a linear regression problem is given, but the response for each point is hidden unless explicitly requested. The goal is to sample only a small number $k \ll n$ of the responses, and then produce a weight vector whose sum of squares loss over all points is at most $1+ε$ times the minimum. When $k$ is very small (e.g., $k=d$), jointly sampling diverse subsets of points is crucial. One such method called volume sampling has a unique and desirable property that the weight vector it produces is an unbiased estimate of the optimum. It is therefore natural to ask if this method offers the optimal unbiased estimate in terms of the number of responses $k$ needed to achieve a $1+ε$ loss approximation. Surprisingly we show that volume sampling can have poor behavior when we require a very accurate approximation -- indeed worse than some i.i.d. sampling techniques whose estimates are biased, such as leverage score sampling. We then develop a new rescaled variant of volume sampling that produces an unbiased estimate which avoids this bad behavior and has at least as good a tail bound as leverage score sampling: sample size $k=O(d\log d + d/ε)$ suffices to guarantee total loss at most $1+ε$ times the minimum with high probability. Thus, we improve on the best previously known sample size for an unbiased estimator, $k=O(d^2/ε)$. Our rescaling procedure leads to a new efficient algorithm for volume sampling which is based on a determinantal rejection sampling technique with potentially broader applications to determinantal point processes. Other contributions include introducing the combinatorics needed for rescaled volume sampling and developing tail bounds for sums of dependent random matrices which arise in the process.

研究の動機と目的

• 線形回帰において応答を取得するコストが高い場合のサブサンプリングを動機付ける。
• 標準のボリュームサンプリングの性能を分析し、少数のサンプルサイズに対する限界を識別する。
• 無偏性を維持しつつ裾側の境界を改善するリスケール済みボリュームサンプリング法を開発する。
• レバレージドボリュームサンプリングを実装する効率的なアルゴリズム（決定的リジェクションサンプリング）を提供する。
• 無偏推定量の理論的境界を確立し、サンプル複雑さがほぼ最適であることを示す。

提案手法

• q-リスケール済みボリュームサンプリングを導入し、任意のリスケーリングqに対して無偏性を証明する。
• リスケール済みボリュームサンプリングの正規化を計算する新しいCauchy–Binetの拡張を証明する。
• レバレージスコアに基づくqを用いて効率的にサンプルを生成する決定的リジェクションサンプリングを開発する。
• レバレージを活用することで無偏推定量を得られ、行列の裾 tailsが良好になることを示す。
• 1+εの損失境界を高確率で得るためのサンプル複雑さk = O(d log d + d/ε)を導出する。

実験結果

リサーチクエスチョン

• RQ1 標準のボリュームサンプリングは最悪ケースデータに対して小さなサンプルサイズで1+εの損失保証を提供するか？
• RQ2 小さなkでの性能を改善しつつ無偏性を維持するようにボリュームサンプリングを修正できるか？
• RQ3 線形回帰のサブサンプリングにおいて無偏性を保ちつつ裾の境界を改善するリスケーリング戦略は何か？
• RQ4 新しいリスケール済みボリュームサンプリングを実装する効率的なアルゴリズムを設計できるか？
• RQ5 高確率で1+ε近似を達成するための結果として必要なサンプル複雑さは何か？

主な発見

• 標準のボリュームサンプリングは小さなkに対して性能が低く、特定の構成で最適値よりも大きな損失を達成する。
• リスケール済みボリュームサンプリング（レバレージドボリュームサンプリング）は、任意のリスケーリングqに対して最小二乗解の無偏推定量を与える。
• qがレバレージスコアに比例すると、無偏性のバイアスが消失し、効率的なリジェクションサンプリングアルゴリズムを可能にする。
• レバレージドボリュームサンプリングは、サンプルサイズk = O(d log d + d/ε)で乗算的裾境界を達成する。
• 提案された決定的リジェクションサンプリングアルゴリズムは高確率でおおよそO((d^2 + k)d^2 log(1/δ))の時間で動作し、効率のためにレバレージスコアベースのリスケーリングを使用する。
• このアプローチは、無偏サンプルの以前の境界をk = O(d^2/ε)からk = O(d log d + d/ε)へと改善する。